系统搜查通常 Data Catalog 字节跳动数据中台的

Data Catalog 能够协助大公司更好地梳理和控制自己的资产，是>2. 配置要求

业界关键的 Augmented>3. 共性化的综合搜查

为了满足上述需求，咱们的系统驳回了共性化综合搜查的打算。区别于联结搜查（federated search），用户须要指定搜查的详细资产类型或在搜查结果页对不同的资产分栏显示，综合搜查（unified search）准许用户在一个搜查框中启动搜查输入而无需指定搜查的资产类型，同时，搜查服务会在同一个搜查结果页前往不同类型的相关资产，并依据婚配水平和用户的共性化数据启动混合排序。好处是能给不同的用户针对不同资产的搜查需求提供一致的搜查体验，同时提供了用户跨类型圈定资产的才干。另外，综合搜查使得咱们可以在页面上启动规范化显显露，从而咱们可以从技术上启动搜查规范化，到达新数据源接入即可搜查。

3.1 架构

3.1.1 全体架构

咱们的搜查系统经常使用了开源的搜查引擎 Elasticsearch 启动基础的文档检索（Recall 阶段），因此各种资产元数据会被寄存到 Elasticsearch 中。整个系统包括 4 个关键的数据流程：

3.1.2服务架构

上图是线上搜查服务的关键组件图。整个搜查服务分为三个大的服务：搜查介绍服务、聚合服务和搜查服务。

1.搜查介绍服务 （Type as you search）。搜查介绍服务对性能有必定的要求，通常来说补全的恳求成功期间不能超越 200ms，超越了用户就会有比拟显著的提前感。因此不能间接经常使用搜查接口成功，咱们的系统里是基于 Elasticsearch 的 Context suggester 成功的。除此之外，还有两个疑问须要重点思索：

（1）基于阅读的热度排序。页面上能够介绍的词数是有限的，通常是 10 个，在输入较短时，候选的介绍词通常会超越这个限度，因此经过资产的阅读热度来排序可以提高搜查介绍的准确率，改善用户的搜查体验。

（2）时序疑问。一次性搜查环节中会有一连串的搜查介绍恳求，服务端会并行的处置这些恳求，通常更长的输入由于候选介绍词更少服务端照应反而更快，在用户输入较快的时刻（比如延续的删除字符），前端先收回的恳求或许会后前往，因此或许形成输入中止后介绍的词与输入不婚配。咱们的打算是前端在依据服务端照应刷新数据时须要审核前往的输入与输入框内容能否分歧，从而坚持最终分歧性。

2.聚合服务 。聚合服务依据输入和挑选项提供搜查环节中须要用到的统计数字。例如用户宿愿知道搜查结果总共有多少条，每个挑选项下有多少个候选结果等统计信息，从而指点用户对搜查结果启动挑选，增加搜查范围。同时，每个挑选项下的可选项须要依据输入和其它关联的挑选值灵活生成，这局部也须要聚合服务提供。

3.搜查服务 。支持外围的搜查环节，经过输入，前往对应的资产作为搜查结果。分为 4 个关键的局部。

4.预处置环节 （Preprocess），关键蕴含对输入的预处置和用户信息的预处置。

（1）对输入的预处置关键包括分词，停用，词性恢复等基本的文本处置。分词关键蕴含英文分词和中文分词。英文分词须要处置-_等链接符分词，中文分词关键是用 IK 分词器。停用关键蕴含各种词如“的”，“了”，“我”和各种不凡符号“》〉？”等有意义的词语。词性恢复是一把双刃剑，由于>（2）对用户信息的预处置。用户能否为超级用户，能否为 API 用户等，可以借此判别用户常搜查的资产类型或从未搜查的资产类型。

5.召回环节 （Recall），担任经过输入和挑选项依据文本相关度从 Elasticsearch 查问必定数量的搜查候选结果，供下一步精排经常使用。召回环节须要保证用户希冀的结果蕴含在召回结果中，否则后续排序优化都是白费。同时，召回的数量须要限度在正当的数值。关键要素有两点：一是排序靠后的搜查结果简直没有用户会检查。二是召回过多的候选结果会影响性能，尤其是排序性能消耗比拟大时。咱们的召回关键分为两种形式：人造召回和强规定召回。

6.人造召回。 对经过预处置的输入启动不同资产类型的召回，经常使用 best field 的战略，对资产的不同字段设置不同的权重，例如命中称号的资产应当比命中形容的资产优先级高。这里的权重通常依据阅历设置，可以依据搜查结果的 Badcase review 失掉，这个权重数值的精度要求不高，确保希冀的结果能召回回来即可。

7.强规定召回。 可以定制一些规定，作为人造召回的补充，涵盖准确表名的召回，或许从用户的罕用资产列表启动召回。

除此之外，还须要做好多租户的隔离，防止租户的用户召回其它租户的资产。

（1）精排环节 （Rank），担任对召回的结果启动最终的排序。精排环节依次蕴含机器学习模型预测（Learning to rank）和基于规定调整两局部。Learning to rank 局部详细引见见后文。

1）机器学习模型在线预测，担任关键的排序上班。加载离线训练失掉的 PMML 模型文件，提供预测配置。

2）基于强规定的调整，蕴含排序的各种兜底战略，比拟罕用的有：

a.准确婚配的结果排在第一位。

b.参与 Tie-breaker，保证分数相反的结果屡次搜查的排序分歧。

（2）后处置环节 （Postprocess），对排好序的结果参与各种不影响顺序的后处置。例如：

8.权限审核，暗藏表设置。一些资产不宿愿被没有相关权限的用户检查概略，须要在搜查结果中设置相应字段并前往给前端。

9.高亮，对命中字段启动高亮标注，前往给前端。

3.2 Learning to rank

Learning to rank 关键分为数据搜集，离线训练和在线预测三个局部。搜查系统是一个>离线训练的环节关键包括数据标注，特色工程，模型训练和评价。这四个步骤并非从前往后零打碎敲，而是有或许启动评价，发现无余，而后参与标注数据，参与特色，从新训练，再次评价。评价成果有比拟显著的收益时，才会上线测试。

3.2.1数据标注

作为>训练数据集须要继续降级，在 review badcase 时，可以针对须要改良的场景参与相应的训练数据。

3.2.2特色

特色工程是一个继续的环节。经过一系列的选取，咱们系统的关键特色分为 4 大类型，涵盖了搜查的文本特色，数据的威望性，用户的共性化数据和数据的时效性。

上方罗列了一些咱们用到的关键特色和分类：

a.输入长度，比如有多少个词，总长度等等

b.输入言语类型，中文或英文

(2)文本婚配度相关的特色

(1)担任人：用户能否是该资产的担任人

(2)收藏：用户能否收藏了该资产

(3)点赞：用户能否点赞了该资产

3.2.3模型

Learning to rank 通常有三类方法：Pointwise，Pairwise 和 Listwise。这三类方法各有优缺陷，细节引见如下：

(1)好处：便捷直观。

(2)缺陷：排序实践上不须要对资产启动准确打分，这类方法没有思索召回资产之间的相相互关，思索到用户在一组资产中只会点击其中一个，排名靠后的和排名靠前的资产在损失函数上的奉献没有表现。

(1)好处：基于点击与原有相关性分数排序标注便捷，相比 pointwise 思索到选项之间相关。

(2)缺陷：雷同没有思索排序前后顺序的关键性不同，样本生成复杂，开支大。对意外标注敏感，错晚点影响范围大。

(1)好处：优化整个序列，思索序列内资产之间的相关。

(2)缺陷：单条样本训练量大。样本过少，则无法对一切样本预测失掉好的成果。

咱们对 Pointwise 和 Listwise 都做了试验，最终咱们的系统驳回了 Listwise 的打算。关键要素是在咱们的标注形式下，Listwise 的打算更容易标注。详细成功上咱们驳回了 LightGBM 的框架。

3.2.4评价

咱们经常使用了 NDCG，AUC 和验证点击率的形式对模型启动评价。

3.3权衡目的

搜查服务变卦或新模型上线后，咱们须要对线上搜查的实在成果启动权衡。目前咱们关键经过搜查的点击率和 Top3 点击率来权衡。由于>实践上，点击率并非越高越好，过高的点击率或许象征着:

当然过低的点击率象征着较差的搜查体验。因此，点击率坚持在必定肥壮的区间后，咱们也须要关注含糊搜查和准确搜查的占比等目的。

4. 其它形式

除了共性化的搜查需求，也会有一些场景，用户不须要精细化的排序，只有要把蕴含相关文本的资产都罗列进去，因此咱们也支持单纯的列表形式，用户可以在列表形式经过指定字段来对搜查结果启动排序。咱们也在布局成功一些 query syntax 的配置，以此来支持用户在列表形式下更灵敏地解放输入。

5. 后续上班

Data Catalog 系统的搜查配置还有很多有意义的上班值得咱们继续探求，例如：

6. 关于咱们

火山引擎大数据研发控制套件>一站式数据中台套件，协助用户极速成功数据集成、开发、运维、控制、资产、安保等全套数据中台树立，协助数据团队有效的降落上班老本和数据保养老本、开掘数据价值、为企业决策提供数据撑持。