58 画像平台树立中的运行 算法在

首先和大家分享下 58 画像平台的树立背景。

传统的思绪来看，树立用户画像平台依赖数仓建模才干，整合多业务线数据，构建准确的用户画像；还须要数据开掘，了解用户行为、兴味和需求，提供算法侧的才干；最后，还需具有数据平台才干，高效存储、查问和共享受户画像数据，提供画像服务。业务自建画像平台和中台类型画像平台关键区别在于，业务自建画像平台服务单条业务线，按需定制；中台平台服务多条业务线，建模复杂，提供更为通用的才干。

58的用户画像平台树立关键源于以下几种业务需求：

在业务需求和外部环境应战下，咱们提出了 UA+CDP+MA 这一套用户画像平台处置打算。经过 OneID 服务构建用户画像基础数据，联合流量和人群洞察，应用算法智能生成人群，并婚配物料启动精准营销。同时监测成果并回收数据，优化战略迭代人群。为业务方提供智能化增短处置打算，成功精准运营和业务增长。

二、算法在 58 画像平台树立中的作用

算法侧在 58 用户画像平台的树立关键包括两个方面，一个是标签体系的树立，另一个是平台才干的构建。

万象标签体系蕴含社会属性、天文位置、行为习气、偏好属性、用户分层等多个分类，一共有 1500 余个标签。咱们依据消费方式分为两种类型：

算法类标签可依据数据源和粒度分类。如性别、年龄、业务偏差等标签，数据源普通为结构化数据，常作为分类义务处置，模型可选择 XGBoost、DeepFM 等。还有租房目的标签，须要从用户阅读的帖子文本中识别用户目的，这类标签数据源为非结构化数据，可以用文本分类等方式处置。在咱们的内容偏好标签中，如用户在不同业务的帖子偏好 topN，则须要构建离线的介绍流程消费这类标签。

3.以内容偏好标签为例解释标签的流程

以内容类偏好标签为例，消费该标签需树立离线介绍流程。面对百万甚至更多的帖子，咱们首先经过召回阶段启动初步挑选，驳回抢手、规定、协同过滤等方法，如图卷积神经网络(LightGCN)和双塔(DSSM)模型等。而后，基于召回的帖子，应用 Pointwise 方式经过 CTR 模型启动排序。最终产出用户最感兴味的 Top N 帖子。在实践运行中，以 push 场景为例，可以从 Top 1 帖子中提取关键属性，生成共性化文案。同时，落地页可以是 Top 1 帖子的概略页或 Top N 帖子的列表页。

在消费内容偏好类标签时，思考到 58 同城业务的地区和类目特性，用户在介绍中通常只对特定地区或类目的帖子感兴味。因此，在向量化召回（如经常使用 EGES 模型）时，或许会发生少量他乡或非本类目的帖子。为处置这一疑问，咱们将市区消息以 16 进制示意，将 0 交流为 -1，而后将此编码间接拼接到之前生成的向量中，这样做可以确保同市区或同类目的帖子在相似度计算中具有最大相似性，从而提高召回和介绍的准确性。

在排序阶段，应用多模态消息，包括文本内容，以优化介绍的准确性。例如帖子题目作为文本特色，可以驳回 BERT、M3E 等预训练模型启动 embedding 示意。但是，由于帖子数量庞大，这对计算资源导致了应战。为处置这一疑问，咱们驳回了 Spark NLP，这是一个基于 Apache Spark Machine Learning 的人造言语处置库。虽然原生库中没有中文的 BERT 模型，但经过一些转换，咱们成功地将其运行于大规模离线推理。

在 58 同城用户画像平台的性能树立中，算法雷同施展着外围作用。以智能运营才干为例，咱们应用流量地图识别不同业务之间的关系性，为业务方提供运营造议或论断。业务方可以依据这些倡导间接经过智能圈人性能生成运营人群包，并对接到相应渠道启动投放。投放成果可以经过平台启动监测，并依据成果数据启动迭代优化，从而不时优化运营成果。

算法是如何施展作用的呢？接上去分几个环节来引见。首先是流量地图这一块。咱们应用 OLAP 数据开掘和数据可视化技术，深化剖析 58APP 用户在不同业务之间的阅读状况。经过剖析和加工这些数据，可以展现出用户在不同业务之间的流转门路，为运营团队提供直观的用户行为视图。在这个环节中，算法不只可以协助咱们识别出用户的行为形式，还可以经过关联剖析等技术，开掘出不同业务之间的关系性。这些关系性为咱们提供了贵重的运营造议，允许运营团队启动交叉运营。

在获取运营造议后，运营团队可以经过智能圈人性能来圈选指标人群。为了成功这一指标，运营团队须要首先性能共性化运营指标，明白指标是拉新、促活还是促转等。接着，须要设定希冀到达的成果，包括人群包的大小和预期的投放成果等。此外，运营团队还须要选择适宜的投放渠道，以确保指标人群能够接纳到关系的运营优惠消息。

生成人群包的环节关于运营团队来说是一个黑盒。为了处置这个疑问，咱们提供了更多关于算法原理和步骤的解释和说明，以便运营团队更好天文解和运行该技术。同时，咱们提供了更多的可视化工具和界面，协助运营团队直观地检查和剖析人群包的特色和成果。

在生成人群包的环节中，咱们关键驳回了 Look-alike技术。在该技术的演进上，咱们阅历了几个阶段，前期自创 Yahoo 的打算，将人群包的产出分为召回和排序模块。召回模块，首先构建一切用户的特色向量，而后驳回 minHash 和部分敏感哈希技术启动特色向量的紧缩，并经过相似聚类分桶的方法成功了近似于 k-NN 的检索，极速计算种子用户与候选人群之间的两两相似度，选取 topN 作为每个种子用户的召回人群。在排序阶段，首先经常使用 Information Value 启动特色挑选，而后基于挑选后的特色计算分值，最后依据分值启动排序，最终产出人群包。整个环节中，算法起到了关键作用，确保了人群包的准确性和有效性。

除了基于相似度的打算，雷同基于机器学习的方式也有不错的成果。在实践运行中，用户可以经过场景圈人或种子人群上行两种方式动员恳求。区别在于种子人群由用户上行还是咱们智能开掘。在拿到种子人群，也就是正样本后，咱们须要选择负样本，可以暴力的全局随机负采样，也可以用 PU learning 或许 TSA 等算法成功负样本的选取。接上去是特色选择阶段，分为两种打算，一种是提早预制人工挑选的特色，经过固定的特色工程，可以经常使用 DeepFM 等模型成功训练和 CTR 的预估，依据 CTR 选择 TopN 作为人群包；还有一种打算是咱们经常使用全量的标签作为特色，经过 IV 值和关系性智能化挑选和剔除特色，而后经常使用 AutoML 框架成功特色工程、模型训练，最后对 58App 的人群池启动推理，并依据 TopN 产出人群包，对接到渠道启动触达，最后回收投放成果数据来成功样本选择迭代。

上述打算有一些值得关注的点，首先是样本的迭代，回收成果数据时，不只须要对曝光数据启动挑选，同时须要对未曝光数据，也就是 Exposure Bias 做 Debias 处置。同时迭代后的成果须要离线评价验证，保障迭代的成果。此外，特色方面也须要思考穿梭疑问，特意是拉新场景，须要思考特色选择的期间起因。

随着在运营场景中积攒的数据越来越多，咱们开局尝试应用这些数据启动离线试验，以优化咱们的迭代打算。其中之一就是基于腾讯微信的 Look-alike 方式，它驳回元学习的方法。详细来说，这种方法经过构建一个泛化模型，在离线阶段成功模型的构建，而后在在线阶段应用大批的数据集启动定制化模型的训练，并启动推理上班。这种方式能够处置样本量相对较少时，模型容易发生过拟合的疑问。多场景多指标的人群分散，也是咱们下一步迭代的方向之一。

共性化资源位的投放，在 58App 资源位蕴含开屏、banner 位、浮窗、fees 流卡片等等，都有用到 58 用户画像平台相应的性能，比如用价运营经过画像平台的标签圈选才干去产出人群包为其推送特定的内容，成功千人千面的精细化运营。

咱们的画像平台与 58 的 push 平台也齐全买通，运营同窗可以经过万象圈选或许 Look-alike 等方式创立人群，性能共性化文案，经过 push 触达用户，达成运营目的。

搜查介绍是基于用户画像最经常出现的运行。58 新车、二手车这两个业务方没有算法人员，但是又想做一些共性化的运行，因此接入了前文中提到的内容偏好类标签。的新车介绍，关系介绍等资源位都用到了内容偏好 TopN 标签。在二手车的搜查位置上，搜查框的揭示语以及搜查发现页的关系车系也用到了这一标签。相比于之前经过规定的方式，经过接入内容偏好标签作为名目初期的处置打算，也取得了很好的成果。

58 的画像平台曾经具有了业界通用的画像平台才干，并且经过算法加持，成功了智能运营等才干。不只优化了业务方运营成果，在为用户提供共性化服务的同时也带来了更好的用户体验。接上去，还将与业务方深度协作，探求更多的运行场景，在协作的环节当中启动总结和提炼、优化与翻新，更新技术以应答各种需求和应战，咱们等候为用户和企业发明更大的价值。