数据控制体系演进简介

网易外部如严选、云音乐、传媒等数据团队对数据内容体系的控制思绪都是将控制规范融入到开发环节中，将控制的举措提早，这其实就是“开发控制一体化”；预先依赖数据资产肥壮评价和控制工具启动数据的控制，树立当时加预先的数据控制体系。

随着网易数帆商业化的开展，遇到很多金融及大型国企客户，咱们发现互联网的这套数据控制的打法并不能所有顺应传统行业客户的场景。咱们开局向客户和竞争对手学习，为此打磨出元数据控制，数据规范，数据资产目录等子产品，积淀出一套数据控制的产品体系。

本文关键内容包括以下四个方面：

“先设计后开发”

在软件工程中良好的设计具备无法比拟的意义，它胜于需求、编码、保养等环节，秉承设计优先的准则会让软件开发变得繁难高效，可以尽量防止掉因设计错误而造成的毛病，一个强健的程序肯定有良好的设计。

网易数帆数据中台产品的特征之一“先设计后开发”，其目的就是将 数据规范定义、目的规范定义、模型设计和数据开发体系衔接在一同 ，成功 “规范即设计，设计即开发” 、以设计驱动开发，并经过流程管控卡点保证元数据的生成是依照规范落地的。在开发的环节中保证数据规范，数据品质，数据安保的落地，这就是将 开发控制一体化 ，希冀能到达“事倍功半”的当时控制打算。

在没有“数据规范”产品之前咱们，咱们介绍客户的数据体系构建上班流蕴含业务和需求调研，数据架构设计，目的规范定义，数据模型设计，数据开发五个环节。

再好的规范设计都须要工具来落地和解放，否则就是一纸空文，咱们以为一切需求都可以拆解为目的和维度，目的和维度组合就是模型，所以用目的控制工具和模型设计中心去承载规范设计的落地：

dwd_{业务缩写/pub}_{数据域缩写}_{业务环节缩写}_[{自定义表命名标签缩写}]_{刷新周期标识}{单分区增量全量标识}dws_{业务缩写/pub}_{数据域缩写}_{数据主粒度缩写}_[{自定义表命名标签缩写}]_{统计期间周期范畴缩写}/{刷新周期标识}{单分区增量全量标识}

在模型和目的的落地环节中，经过“庖丁解牛”式的产品性能将数据模型触及的技术元数据/业务元数据启动规范化，规范化的好处是“车同轨，书同文，大家都说普通话”。可以说咱们产品从一开局就成功了开发控制一体化。

“先污染后控制”

“先污染后控制”是数据控制的干流打算，与其说干流不如说是无奈的选用，由于“先设计再开发”象征着重构，重构只管是最彻底的打算但也是最难实品口头的，毕竟很少数据团队最外围要交付的是短期业务价值，重构带来需求交付效率的降低且短期无清楚价值增长，也有很少数据团队就会选用边开发边启动控制的打算，咱们将网易的阅历和环节也在这里做一个引见。

2.1 静止式控制

随着业务的开展，网易外部业务线的计算和存储到达瓶颈，但业务方很难判别，是应该继续扩容参与资源，还是对劣质数据启动控制来降低资源危机，但这个环节中，如何定义劣质数据，定义了劣质资源后，要怎样对其启动控制，都是亟待确定和处置的疑问；另一方面，数据自身的加工链路长，数据的加工处置没有一致的规范，整个团队内究竟有哪些数据，数据的担任人是谁，这些数据是经过哪些义务产出的，这些数据有没有被有效的经常使用，数据的存在能否无心义，这些都是控制者比拟关心的疑问，但数据团队都很难回答。经过静止式的专项控制咱们还是积淀出局部工具

2.2 度量体系的构建

基于元数据的树立，咱们将底层的表信息、计算义务信息和义务/表之间的血统信息，汇总为计算、存储的元数据仓库，联合外部自己的账单体系对计算和存储均启动了定价，从而将调度义务、自助查问每次口头消耗的计算老本预估进去，关于存储老本，一方面蕴含数据表自身的存储老本，另一方面产出该表的计算义务也会摊派该数据表的老本，最终失掉数据表总的存储老本。将计算和存储老本转化为费用，愈加了如指掌的对控制成果启动量化评价。为了繁难用户了解，咱们构建了一致的肥壮分度量体系

基于元数据的数据控制体系

无论“先设计后开发”亦或是“先污染后控制”，都少不了环节元数据的积淀，这样才会让控制无论在任何阶段都变得轻松牢靠。在商业化通常的环节中咱们逐渐地排汇了传统行业一些优势，例如在21年底咱们上线了数据规范、元数据控制这两款产品，同时数据规范，元数据控制、数据品质、模型设计、目的控制、安保中心等产品做了买通能成功数据规范的校验，让数据规范不再是一纸空文。

越来越多行业的通常让咱们开局思索咱们的数据控制体系须要更新，首先是站在数据内容体系须要明白控制的范畴。

3.1 明白数据控制的范畴

3.1.1仓内数据全生命周期

数据控制才干成熟度评价模型给出了数据控制才干成熟度评价模型以及相应的成熟度等级，定义了数据策略、数据控制、数据架构、数据运行、数据安保、数据品质、数据规范和数据生活周期等8个才干域。

咱们的数据控制的范畴参考了DCMM模型，同时也是围绕数据的全生命周期展开的，在数据消费阶段，须要对需求启动剖析，明白业务口径，对数据启动规范采集、义务开发和监控运维；在数据消费阶段，触及到极速地查找数据，对数据的剖析和对数据品质的探查；在数据控制环节中，蕴含权限和老本控制等。整个流程触及到老本、规范、品质、安保和价值，各个阶段都会面临对数据的控制上班。

在详细的数据控制产品层面做了一些微调：DCMM蕴含有数据规范，数据品质，数据安保，数据运行（咱们叫数据价值），咱们在这个规范的基础上一方面完善数据规范的内容，另一方面也将老本控制参与到控制的范畴内。构成五大模块：

3.1.2 仓外元数据的控制

过去很长一段期间咱们将数据控制的范畴定在仓内，很多公司阅历了多年的树立，领有少量独立的数据运行体系，数据架构十分复杂，也是数据控制绕不开的一道墙。尤其是在构建数据资产大盘时就须要思索仓外元数据的控制以及一些手工元数据的控制。

为此咱们研发了元数据控制模块，用于一致控制仓内和仓外元数据。它包括元数据注销、元数据注册采集、元数据存储、元数据剖析等，涵盖了元数据的全链路生命周期控制。支持元数据的智能采集和调度控制，支持手工创立和变卦元数据，并配合版本控制，便于用户跟踪元数据整个生命周期灵活和变动。

3.2 数据控制产品的优化

3.2.1 开发控制一体化

3.2.1.1 面临的疑问

从网易外部的通常来看，过重的设计不行（例如经常使用ERwin、power designer相似的工具交付设计ER图），无设计也不行。开发控制一体化理想很完美，大家也很认可“先设计后开发”的理念，但很多业务中也面临口头不到位。例如：业务探求期/高速开展期须要极速失掉运营数据，业务方能接受的排期不会超越1周，留给数据树立的周期并不长，很多报表间接从ODS源表启动加工，为了极速上线就义设计，效率优先，且缺乏单干。从商业化的客户来看有数产品体系中的目的控制和模型控制还是逗留在控制体系，与开发体系的元数据控制、数据传输、数据品质的联动性无余。

3.2.1.2 更完善的“先设计后开发”

很长期间内咱们在规范这块缺乏能平滑地将设计、开发和控制融合的产品，直到2021年推出了数据规范；同时为了更好的流程单干控制，咱们优化了流程单干与信息中心，构建能自定义的流程引擎、企业组织架构和信息通知。

“先设计后开发”外围是元数据的规范，在设计阶段就解放元数据的定义，开发阶段则经过流程管控保证规范元数据的生成，这样就能保证逻辑与物理的一致。数据规范的目的就是成功元数据规范的定义，联合目的和模型两款产品，将 数据规范规范定义、目的规范定义、模型设计和数据开发体系经过流程引擎衔接在一同 ，以成功 “规范即设计，设计即开发，开发即控制” 的开发控制一体化。

目的、模型设计这块的落中央案，我在第一章已有详细的引见，这里就不独自再引见了。再强调一下再好的规范没有工具产品来婚配落地就是一纸空文。工具产品必需有所卡点才干保证设计和落地的分歧性，须要经过流程引擎保证先设计后开发的流程、保证规范的落地。这些卡点蕴含：

将数据开发与数据控制联合起来既是对开发环节的管控，也是保证数据品质的有效方法。需求阶段关键对业务数据启动调研、拆解数据、确定词根、数据项以及业务目的。设计阶段基于调研的内容启动规范和目的的设计并运行于模型和品质，设计成功后启动元数据的注册并成功业务信息的录入。开发阶段依据设计阶段的规范启动数据开发、解放开发流程，经过元数据扫描成功元数据技术信息的录入，最后将元数据启动审核并颁布。在数据的全生命周期内各个模块协同的案例：

开发控制一体化关于很多公司象征着数据体系的重构。在重构的环节中用流程解放元数据的生成，保证元数据的规范性。当时控制的打算对客户数据树立所处的机遇要求就会比拟高，只管也可以依照数据域逐个重构迁徙，全体树立周期较长，价值也不能空谷传声；然而数据体系的树立本就是数据“熵增”的环节，咱们在树立中对他做功，这样熵参与的比例是在可控的范畴内， 当时做功对数据控制来说事“事倍功半”的选用 。对环节做功会带来效率的降低，未来假设搭配可视化ETL和AutoETL工具就能在效率和控制上成功双歉收。

3.2.2 数据肥壮评价与优化工具

3.2.2.1 面临的疑问

数据控制的诉求在互联网公司早期并不那么剧烈，普通的关注点也只是在 老本无余、数据产出不迭时、目的口径对不上、数据品质产生严重疑问 的时刻会动员控制专项，而后等着再污染再控制。这个阶段关键出现出的特点是：主动式（无抓手），静止式。一套基于数据树立的肥壮度评价体系加优化工具就应运而生。

在网易的通常环节中咱们发明了一套基于ROI的数据资产积淀方法，咱们研发了基于Hadoop的元数据剖析服务，可以精准计算出每个义务消耗了多少计算，存储资源，同时买通数据消费和消费的全链路的数据血统，依照义务援用启动下游摊派，最终可测算出每个运行（数据报表、数据API）消耗了多少资源，同时还有数据运行的经常使用状况（PV/UV/关键水平），可以找到没有经常使用却消耗很大资源的运行，同时驳回“剥洋葱”式的数据下线方式，从下层数据运行开发逐层推进数据下线。附丽于这套方法咱们构建了基于老本、规范、品质、安保、价值的数据肥壮分体系。

咱们宿愿经过”评分赛马”的机制来驱动开发同窗自助成功数据控制，也取得了很多功效，严选/音乐/传媒在这套控制体系内在老本/品质/规范规范上都有清楚的优化。那么这一套控制体系为什么不能在传统行业极速运行起来呢，我的了解有两点：

（1）传统行业的开发及控制方面其实更偏 “控制” ，以银行证券行业为例一方面业务层面被强监管，业务环节十分稳固，主管单位会下发国度规范，合规性十分关键；另一方面数据团队的构成上有少量的外包人员，由一个甲方指导几十个外包人员，安保和稳固是第一位的，所以控制流程是十分必要，而互联网更注重效率，所以咱们的产品在控制上很松懈的，也造成控制元数据的缺乏；

（2）互联网公司很多时刻其实依赖的是人治，依赖数据开发同窗的团体专业才干去缩小前期控制的事件，就像阿里的OneData体系也只是给开发人员经常使用，咱们也介绍“先设计后开发”的开发控制一体化。传统行业有专职数据控制团队担任控制体系，而 咱们的产品缺乏为这类角色服务 ，没有合乎他们经常使用场景的性能和流程。

3.2.2.2 更完善的预先控制体系

（1）构建数据控制的价值体系

基于数据的全生命周期，蕴含了老本、品质、安保、规范和价值五个方面，针对每个方面，都要树立大家认同的可量化的目的，经过目的去权衡数据控制的价值， 一致数据肥壮诊断的度量衡 。

关于老本，包括计算和存储老本的费用量化，对无用数据的下线控制等；关于价值，须要能够评价每个数据模型、数据报告和API的运行价值；关于品质，会蕴含监控义务笼罩了多少稽核规定，涵盖了多少强弱规定；关于规范规范，须要对数据规范、目的和模型启动规范度和复用性的评价；关于安保，会蕴含数据安保等级和数据权限的控制等外容的评价。

（2）体系化控制手腕

数据控制不是一个暂时性要做的上班，从数据生命周期的全环节到控制体系的肥壮运转，须要一个长效的控制机制来保证，体系化的数据控制。

全体经过发现疑问-->处置疑问-->继续运营和继续积淀构成资产控制的闭环。

（3）强化控制属性

3.3 产品全体打算

经过下面的引见可知咱们的数据控制产品蕴含当时和预先两条路途。笼罩数据的全生命周期（从元数据的注册到数据运行消费），蕴含”先设计再开发“的当时控制、数据肥壮评价与优化（预先控制）这两条线，以成功树立“规范的元数据”和“好的数据”。同时在消费端将肥壮的资产经过业务分类和标签等方式来组织，便于普通用户在数据消费时能 “找的到、读的懂、信的过” 。

3.4 元数据数据控制满足的场景

基于逻辑数据湖的数据控制引见

咱们在调研外部用户需求的环节中，经常会碰到的疑问：每个企业用户的技术树立状况不同，业务复杂度也不一，很多传统企业已有的IT系统已运转了很多年，只是无法再支持日益增长的数据需求，他们在大数据技术体系的阅历简直空白，当面对一个比如lambda架构的大数据处置打算时，往往会感觉过于复杂和难以把握，对落地功效心存疑虑。还有局部用户的业务在现有技术框架上（比如MPP）运转良好，出于对未来开展的前瞻性思索，须要提早启动大数据的基础技术树立，这局部用户关于大数据未来的必要性是必需的，然而会特意关心其实用的场景、业务笼罩度以及如何平滑地启动业务的迁徙。

数据湖&Hadoop处置的是数据一致会聚的疑问，而一致元数据则是处置数据衔接、资产、控制的疑问，关于相当局部的用户而言，最大的痛点不是海量数据的存储，而是如何将散落到各个子数据系统的数据孤岛一致管控起来。因此经过构建一个逻辑层面的数据湖，成功一致的元数据+扩散的物理存储，防止不用要的物理数据入仓（湖），从而将产品下层性能比如主题域构建、数据地图等等及早给用户经常使用才是处置疑问的基本之道，逻辑数据湖打算，依然可以经常使用物理湖&Hadoop，同时提供经过虚构表直连数据源的打算将其余类型的数据源也归入平台的管控中，用户可以依据实践的须要选用适宜的存储打算。

咱们的构建方法论关键分为如下三个大的层面：

数据源支持类型： 除了Hadoop（Hive）体系，MPP、RDMS、HTAP、KV、MQ等都须要支持，并且一视同仁，都可以作为详细逻辑数据湖详细对象的物理存储。

一致数据源 & 一致元数据： 一致数据源要做的是规范每种数据源的注销注册，包括数据源URL格局、数据源Owner、惟一性校验、账号映射、联通性校验、支持的版本、特定的参数等；一致元数据，则是将数据源的技术（物理）元信息和业务元信息启动关联，提供一致的查问修正接口。

一致数据开发、控制和查问剖析： 这三个属于构建在一致元数据&数据源基础之上的运行层。一致的数据开发，包括不同物理数据源之间的替换、离线&实时开发、同源&跨源查问；一致的数据控制，则包括数据主题树立、权限管控、数据生命周期、资产地图等；一致查问剖析，则是在成功数据主题树立、数据开发产出，提供同源&跨源的模型剖析才干。