神策营销数据中台树立思绪

神策数据是国际一家专业做大数据剖析和营销科技的数据服务商。公司成立七年，现有规模 1200 人，七年累计服务2000 多家的客户，积攒了许多行业阅历，并与信通院联结颁布了消费者行为剖析规范。

二、营销场景的数据中台树立思绪

在引见营销数据中台的树立之前，先来讨论一下营销业务对数据的需求。咱们希冀协助企业构建一个基于数据驱动的用户旅程。

比如一个企业的用户，可以经过线上或许线下路径来了解这个企业及其品牌。其中线上包含APP、网站、小程序、群众号等。用户也或许会去到线下的门店，购置商品、体验，或是成为公司的会员。关于企业来说，线上的行为数据，线下的买卖数据、业务数据，独特构成了企业对用户认知的基础。

企业经过数据集成、ID关联，再加上数据分洗、标签加工等等方式，将数据买通，从而构建起用户档案，在用户档案的基础上经常使用例如RFM、 AIPL 等模型，即可推断出一些用户的潜在价值，或许在用户生命周期内的定位。

当咱们宿愿去优化用户留存或用户复购的时刻，在达成业务目的的通路中就可以基于数据制订一些营销战略，比如给用户发送一些定制化或许共性化的权力，经过短信、微信或电话等方式将权力通知给客户。无论采样何种方式，咱们最终宿愿的是将一切的数据都买通，让用户获取更好的体验，并且最终积淀成企业的数据资产。为企业常年的数字化运营提供迷信依据，打造数据基础。

上图也表现了神策不时强调的 SDAF 数据营销闭环的理念（Sense 感知，Decision 决策，Action 执行，Feedback 反应）。这个环节里，数据是贯通一直的。

企业想要构建一个高效的数据驱动的用户旅程，肯定是要树立在数据基础之上。很多企业中都曾经有一些数据剖析系统，或许是数据营销系统，咱们希冀数据中台能够起到承前启后的作用，防止烟囱式的系统树立，将数据在系统之间启动买通并可以联动。

神策的营销数据中台也是基于此目的，经过将数据集成、数据建模、数据加工和数据运行这四大关键环节才干的优化，来为企业打造共性化用户旅程和更多营销场景提供更好的数据允许。这也是咱们以为营销数据中台应该处置的四个关键疑问。

首先是数据集成，要接入完整的行为数据和业务数据。因为交互方式多种多样，所以须要具有灵敏性能义务、可视化控制义务的才干，并提供完整的义务监控。

第二个是数据建模，要对数据启动有效的整顿，企业每天的数据纷纷又庞杂，业务又灵敏多变，最终数据的目的是让业务人员能够看懂数据，并且能够经常使用数据，这就是数据建模要集中处置的疑问。

第三是数据加工，望文生义，就是对数据做一些处置，这里关键指的是业务上的处置，比如一些客户的标签、业务目的，以及相关的一些数据分群等。

最后是数据运行局部，关键是将数据中台所持有的数据提供应剖析系统、报表系统、营销系统等，并且承当多种系统之间的串联，以及数据的互联互通等职责。

接上去区分开展引见这四局部。

1、引见数据集成

与一切数据中台相反，咱们首先要做的就是将数据接入。

通常最关键的数据源有四类。第一类最典型的是线上或许线下发生的用户行为数据，来自于 APP 或小程序等；第二类是业务数据，来自各类的业务系统，比如订单系统、会员系统或是商品控制系统等；第三类是一些第三方数据，比如来自于广告平台的广告投放数据；最后一类是企业自建的数据仓库或数据湖，其中积淀了泛滥业务集市数据。

在整个数据接纳框架中，最新的产品中最关键的改良有两局部，一是数据对接的义务开发的老本优化，让各种数据源的数据能够轻松地接入到数据中台中。最繁难的方式是数据工程师在界面上写SQL即可将数据接入，做一些繁难的荡涤和格局转换。稍复杂一些的是经过SeaTunnel这个框架做一些定制义务的开发，可以做一些较复杂的数据格局转换。在未来咱们宿愿能做到对接一些行业规范的 CRM系统或ERP系统，经过一些套件做到一键接入。

在数据对接义务开发之后，后续是一些可视化的控制性能，比如义务的启停、缺点和运转日志等等，关键是为了疑问定位。其中比拟关键的是数据血统，意义在于当发生缺点时可以及时通知下游或是做数据回溯，可以有效地降落系统缺点对业务形成的影响。

企业运营环节中，业务方或许会提一些营销优惠的需求，要基于一些规定圈选出一些客群，经过对客群的剖析，对人群做一些档次的划分，比如高频低价值、低频低价值等。再对这些不同档次的客户做一些共性化的营销战略来成功整个优惠。后续还要对营销优惠的成果做一些回溯，做一些复盘数据剖析启动展现的。

数据部门在接纳到这样的需求后，首先或许要从几百上千张表中找到对应字段，还或许须要在多张表中对其目的口径，接着做开发、测试、调试、上线，再经过几轮迭代，整个环节或许要数日甚至数月，就或许错过了营销的最佳机遇。

为了优化全体的实效性，咱们以为中台最终的目的不是把数据接出去就行了，而是要让业务部门能够高效、方便地经常使用数据，成功业务目的。

神策提出的 EUI 模型（Event-User-Item）在用户行为剖析畛域施展了十分大的价值，也协助了十分多的客户。但随着营销业务落地场景越来越丰盛，此模型也遇到了不少应战，所以在最新的产品中对模型做了更多的裁减。在营销场景中，经常使用到的必需不止是 C 端用户维度的一些数据。有的企业比如 B2C 企业既关注 B 端企业，也关注 C 端用户；批发企业关注消费者、员工、商品、供应商、门店等。这些不同实体的数据在整个营销场景中都会被不同水平的交叉经常使用。

因此，咱们的最新产品中提供了多实体模型，除了用户以外，咱们还可以将门店、员工、导购商品等一切发生数据的主体定义为实体，每个实体都可以有自己的属性标签和事情，构老自己的数据体系。在整个产品体系中，每个实体的业务才干应该是等价的。例如，用户和门店都可以有标签，经过员工事情还可以剖析员工的服务品质。

在某些复杂的营销场景中，例如批发企业，在总部下发营销指令后，门店经过渠道触达自己保养的用户，并依据用户的过往习气介绍最新上架的商品。在这样的场景中，触及到员工、消费者、门店、商品等多个实体，以及它们之间的关联相关。关于业务来说，这些实体之间的相关比拟好了解，然而关于传统的大数据系统架构来说，处置这些关联相关是比拟艰巨的。因此，咱们以为多实体是一种业务比拟容易了解的数据组织方式，实用于NO SQL架构，更好地处置了大数据系统架构的疑问。

另一方面，咱们面临着业务数据和行为数据的买通和融合的应战。例如订复数据，它通常具有订单ID和形态，如下单、待支付、未发货、已成功、已发货等。假设用用户行为事情来表白这些形态，那么一条数据会被拆成多条，存在少量数据冗余。此外，业务人员也难以了解其含意。因此，在咱们最新的系统中，引入了明细数据类型。例如在金融场景中，有理财持仓明细等数据。每条记载包含用户ID、理财编号、净值、盈亏状况等。明细数据和行为数据最大的区别在于明细数据有形态，而事情数据是历史快照，无法变卦。结合起来，咱们才干更好地撑持营销数据体系。例如，在持仓明细中，咱们可以判别用户能否有理财富操行将过时，并介绍相似理财富品，从而优化续存率。

3、数据加工与运行

在数据建模成功后，咱们提供了从总体到细节的数据检查才干。系统提供了数据资产视图，可以总览数据总量、标签数量、分群数量、ID数量等消息，还可以启动不同水平的下钻，例如进入到某一分层用户列表或单个用户的360度画像。

标签和分群是营销场景中十分关键的处置方式。在这些方面，相关于以往的产品，咱们做了很多增强。

首先是标签方面，神策的产品不时以来都是以行为数据为主启动树立的，包含用户行为和行为标签的树立，同时也会启动事情的聚合统计等等，如用户行为偏好等方面的标签。在引入了业务明细数据后，咱们对标签规定启动了很多改良，可以将业务数据融入整个标签计算规定中，并提供函数表白式等方式，除了启动聚算计算外，还可以启动加减乘除函数等计算。除了行为标签外，还可以做一些业务标签。并且为了允许更复杂的场景，在规定方面，咱们还允许插件化才干，例如企业曾经有了内建的算法平台，或许会发生一些算法标签，咱们也可以允许这些标签的控制上班。因此，在咱们的产品中也允许插件化，将定制规定的标签归入出去启动控制，并启动可视化性能。关于一些行业属性特意显著的企业，如银行、证券或汽车，咱们也可以将一些具有行业特色的标签制形成内置的插件，优化业务人员经常使用的方便度。

在分群方面，普通有两大类场景，一类是公司级的客群的大的分层，如新用户、潜在客户、生动用户、忠实客户等等；另一类则是关于一些暂时性或许单次营销优惠，启动的单次的暂时分群。

咱们为不同业务场景、不同角色提供了不同的数据加工才干。比如业务人员可以经过文件导入，从外部系统导入，来创立客群。另一种方式是经过咱们数据中台部门保养好的标签，包含业务标签或行为标签，将标签组合起来做人群的圈选。比如广东地域，30 岁到 40 岁的男子会员作为一个客群。这两种是业务人员十分繁难经常使用的，比如一线的业务人员或许保养200 到 2000 个客户，可以对这些人做一些暂时性或是周期性的营销战略。

复杂度稍高一些的是界面规定，是一种规定模板，业务人员经过学习也可以把握，顺应更多的场景。

更为复杂的是神策最新定义EQL查问言语，即Entity Query Language。EQL与SQL具有相反才干，然而EQL关于业务人员来说更好了解、更容易把握，它是一种更贴近人造言语的表白方式。

以上多种处置方式，可以满足从最繁难、最日常的场景，到最复杂、最灵敏的场景的各种需求。

最起初讲一下平台才干。作为平台来说，放开才干是很关键。所谓数据中台，是一个数据底座，须要允许各种业务系统，因此咱们提供了各种Open API，可以启动很多的才干裁减。一方面，在系统中可以做更好的数据输入，另一方面也可以启动二次开发和定制开发。数据输入方面，咱们允许了流式输入、订阅，也允许高并发的查问才干，从而能够更好地允许各种在线营销场景。

Q1：营销平台是如何接入业务明细数据的？神策能够经过 API 间接查问业务数据库吗？这块从技术上是如何形象和成功的？

A1：业务数据库通常是比如MySQL、Oracle 或许 PG等数据库，因为要允许业务运行因此负载也不会低，假设把大数据间接加上去是不太事实的。所以接入业务数据库的普通的方式是经过一些CDC，比如binlog 订阅的方式，将数据源表间接导入，经过replica 的方式接入，接入后对数据做一些繁难的变形、做一些繁难的荡涤或许格局变换，比如加一些数据字典，做一些数据类型的变换，就可以放到大数据系统中来。

Q2：NO SQL 的存储如何允许多级索引的查问？比如查问门店下的导购的消息，可以允许间接关联查问吗？还是业务方经常使用自己的查问？

A2：是经过数据建模来做的，此局部无法做到像数据库那样的强关联，然而咱们在这个数据模型外面还是做了不少的事情，实质过去说是一些 join 的计算。举个例子，比如前面提到的理财持仓数据跟客户的数据是经过客户 ID 启动关联的。详细的计算框架，在系统中也做了许多优化将时效性和计算性能优化到最高。