抖音团体目的控制与消费体系树立通常

抖音团体，作为字节跳动国际消息和服务业务的外围板块，旗下领有抖音、今天头条、西瓜视频等泛滥出名产品。置信大家的手机里都装置了不止一个抖音团体的 App。

平台控制的数据量在几年前就已超越 EB 级别，目的资产数据超越 600PB，这为咱们的数据控制带来了渺小的应战。

咱们的数据平台承载着一项关键使命：成为推进增长的矫捷数智引擎。

火山引擎数智平台的全体架构分为四个档次：数据引擎层、数据树立控制层、数据剖析运行层和处置方案与咨询服务层。这四层协同上班，笼罩了数据从采集到剖析的全生命周期。

咱们的数据产品有两个外围特点：矫捷和易用。

首先，矫捷体如今速度和灵敏性上。数据流程片面减速，无论是数据采集、加工还是剖析消费，都成功了实时性，系统能够处置十亿级数据的亚秒级查问。

其次，在易用性方面，咱们努力于打造低门槛、极速上手和宽泛协同的数据处置环境。即使没有技术或统计学背景，团队成员也能轻松搭建数据门户、展开 AB 测试。平台允许无代码操作，让每团体都能极速成为数据的探求者和剖析者。

此外，数据产品具有无缝协同才干，与飞书、日历、业务系统等工具的整合，让数据随时随地为决策服务。

总结而言，咱们的数据团队努力于经过矫捷和易用的产品，成功对业务的高规范服务。咱们的目的是到达"0987"的服务规范——0 严重线上疑问，90% 的需求满足率，80% 以上的剖析师查问数仓笼罩率，以及超越 70% 的业务用户满意度。

抖音的业务开展可划分为三个清楚的阶段：探求期、生常年和成熟期。

在探求期，咱们的焦点在于极速迭代和业务导向，迅速适配业务调整，寻觅可继续的增长形式。这一期间，咱们面临的关键应战是缩短交付周期，以成功极速的市场照应。

随着业务步入生常年和成熟期，数据品质和效率的关键性日益凸显。咱们遭逢了三大关键难点：

面对这些应战，咱们意识到要优化数据品质和效率，必定针对性地处置目的控制、口径和消费的一致疑问。咱们的处置思绪是构建一个消费促成消费、消费反应促成控制的闭环才干。这样的良性循环不只确保了目的体系的价值，也使其在抖音业务中能够继续、有效地运转。

整个处置方案分为三层：

接上去讨论目的控制通常中的一些关键疑问。

咱们以为，要成功高效的目的控制，必定处置以下三个外围疑问：

综上所述，咱们的目的是在流程和机制上处置目的的继续保鲜疑问，并推进目的中台产品才干的迭代更新，以处置目的分歧性和控制效率疑问。经过这些措施，树立一个愈增强健、灵敏且高效的目的控制体系。

接上去经过一个详细的例子来论述咱们全体的单干流程。比如一位剖析师提了一个目的需求，在目的平台中启动了需求注销。咱们的业务运行层数据 BP 数仓同窗接到这个目的需求之后，会去判别这个目的以前有没有树立过，能否能够复用，假设没有的话，会先去做目的的拆解。在拆解环节中，假设发现了一些目的的基础元素上的缺失，比如缺少一些原子目的或许润色词等，就会引入基建同窗或许公共层数据同窗来启动基础元素的完善。最终运行层的同窗去做好目的模型的开发。

在面向需求交付的环节中，咱们普通状况下也是宿愿对接业务的数据同窗能够端到端地成功需求交付的闭环。当然假设须要依赖的外围公共层数据缺失，那么会引入公共层的同窗去完善公共数据的树立。最终把模型注册到目的平台，以服务化的形式给到下游去启动消费。

全体单干流程中的关键步骤包括：

要保证整套流程能够继续运转下去，须要有权责清楚的组织设计，确保从需求提出到目的成功的每个环节都有明白的责任主体，每个角色都能在其专业畛域内施展最大的作用。这不只可以提高上班效率，也能够保证数据的品质和分歧性。

4.如何保证目的的分歧性

要确保目的的分歧性，关键从两个方面思索：

（1）目的拆解的规范性：目的拆解环节必定遵照严厉的规范，确保每个目的的准确性和分歧性。

（2）目的中台产品才干的惟一性校验：经过目的惟一性校验和原子目的/润色词的相似性校验来确保目的在平台上的分歧性和准确性。

5.如何优化目的拆解效率

目的拆解是数据控制中最为耗时的局部，优化这一环节的效率十分关键。咱们从以下两个方面着手优化目的拆解和控制的效率。

咱们也在探求经过大模型的形式去成功智能化拆解，只有要把对应的表和字段录入出来，经过大模型就可以智能拆解出原子目的润色词和期间周期。

7.目的先消费后控制通常

咱们团队对业务需求的承诺是明白的——保证 90% 的需求满足率。为了到达这个目的，矫捷性成为咱们优先思索的关键起因。

在处置普通业务需求时，特意是在短视频业务中，咱们采取了一种灵敏的战略。为了坚持矫捷，咱们不会对这类需求启动前期的目的控制。同样，咱们直接开发并上线 ClickHouse 表，以极速照应业务需求。

随着业务的开展，当这些表格须要被运行到决策看板时，咱们会异步启动目的的录入和拆解。这样做不只保证了业务的矫捷性，同时也确保了数据的可管理性和可剖析性。

当然，假设遇到性能疑问，比如当表格不再满足 SLA 要求时，咱们会启动模型的重构和目的下沉到公共层。这一环节是咱们数据控制成熟度的表现，确保了数据的常年稳固性和可用性。

经过咱们的中台产品一体化架构，即使在异步启动目的控制时，也只有 20 分钟就能成功单表的目的控制上班。这大大优化了咱们的效率，同时也保证了数据的品质和分歧性。

1.目的消费的模型设计准则

目的消费的模型设计遵照从明细到汇总的档次化设计准则，依次构建了明细层、轻粒度汇总层和粗粒度汇总层。

在轻粒度汇总层，咱们宿愿能够笼罩尽或许多的维度，下游偏运行层的目的开发尽或许依赖于轻粒度汇总层，而不要直接去依赖于明细层，当然也会统筹性能和老本。另外，普通选用单业务环节，当然假设多个环节从业务视角过去看总是连在一同去看的，那么也会把他们放在一个模型外面去做加工计算。

粗粒度汇总层往往最终运行是给到下游直接去做消费，所以须要关注其性能，以及目的业务上的裁减性。从通常阅从来看，粗粒度汇总层普通状况下选用三个左右的维度为宜。

2.目的消费的品质保证体系

首先要明白保证的对象和内容。须要从业务视角登程，明晰界定咱们所要保证的对象。这包括：

第二，要保证方案的实施，经过工具化敌对台化来赋能整个保证环节。这触及到：

在需求交付的全链路流程中，数据品质的保证是至关关键的。例如：

总之，数据品质的保证是一个系统工程，须要咱们在每一个环节都投入关注和努力。

3.目的消费的稳固性方案

在对外的商业化的数据产品，或许面向于服务控制层的业务时会十分器重目的消费的稳固性，咱们关键面临两个外围疑问：

为了应答这些应战，咱们提出了一个三层处置方案：

总结而言，经过树立规范、优化链路和日常化控制，咱们能够系统性地优化目的消费的稳固性，确保咱们的数据处置既高效又牢靠。

1.目的专题的概念和长处

目的消费的外围理路是构建整个抖音官网的目的专题。目的专题可以了解为一组维度和目的的汇合，相似于虚构表，屏蔽了底层的物理成功，具有如下长处：

2.目的专题的控制和保养

目的专题是目的查找、了解口径、经常使用目的的一站式入口，服务于产品、运营、剖析师和战略等不同角色。它不只提供了目的的综合搜查性能，还具有面向运行场景的专题运行才干。

面向对象的特点包括：

经过这些特点，不只提高了目的控制的效率，也增强了数据的可访问性和透明度，为决策提供了松软的数据允许。

3.目的列表-极速了解业户外围目的体系

咱们的目的列表不只是一个展现工具，更是一个弱小的控制平台。

4.目的概略页-展现目的相关关键消息

目的概略页是一个片面展现目的相关消息的中央。包括三大组成局部：

目的专题消费的外围理路还是宿愿能够做到目的一次性定义多处消费。目的专题的运行经过如下一些形式为上班效率带来了优化：

价值权衡是从消费视角和消费目的来扫视目的控制的肥壮水平，比如有多少目的在控制中，有多少目的规范公开沉到了公共层。

从消费视角，咱们会关注经过目的专题启动一致下游消费的比例是多少，还会关注消费后的业务反应，经过目的专题给到下游消费能否对目的分歧性和目的的可了解性失掉优化。

上图中展现了电商业务的通常结果，从定性角度来看，目的体系对数据团队最大的收益是目的分歧性和目的复用性带来的人效优化；关于剖析师和业务同窗来说，更多的是优化了整个目的的可了解性，并降落了沟通老本。

最后分享一下咱们对未来上班的布局。首先，仍会努力于转变传统的数据交付形式，宿愿以目的及服务化的形式去提供稳固、可复用的数据产品。详细上班仍将围绕以下三个外围局部展开：