终于有人讲明白了 数据中台与传统大数据平台有什么区别

图1-1显示了信息化系统、数据仓库、传统大数据平台、数据中台之间的相关，其中的箭头示意数据的重要流向。

▲图1-1 数据中台与传统大数据平台、数据仓库的相关

数据中台与传统大数据平台究竟有什么区别?为了叙说繁难，咱们先给出传统大数据平台的架构(见图1-2)。

▲图1-2 传统大数据平台

可以看到，这些是传统大数据平台的外围配置。在很多大数据名目里，只需把这些系统搭起来，每天可以生成业务报表(包含实时大屏)，就算大数据平台搭建成功了。

但数据中台应该是大数据平台的一个超集。咱们以为，在大数据平台的基础之上，数据中台还应该提供上方的系统配置。

1. 全局的数据运行资产控制

这里所说的数据运行资产控制包含整个生态系统中的数据和运行。传统的数据资产控制绝大局部只包含相关型数据库中的资产(包含Hive)，而一个数据中台应该控制一切结构化、非结构化的数据资产，以及经常使用这些数据资产的运行。

假设传统的数据资产控制提供的是数据目录，那么数据中台提供的应该是裁减的数据及运行目录。要防止重复造轮子，首先要知道系统中有哪些轮子，因此保养一个系统中数据及数据运行的列表是很关键的。

2. 全局的数据控制机制

与传统的数据控制不一样，数据中台必定提供针对全局的数据控制工具和机制。传统数据仓库中的数据建模和数据控制大多针对一个特定部门的业务，局部要素是全局数据建模和控制周期太长，由于存在部门之间的协调疑问，往往难度很大。

数据中台提供的数据控制机制必定准许各个业务部门自主迭代，但前提是要有全局分歧的规范。阿里提出的OneID强调全局一致的对象ID(例如用户ID)，就属于这个机制。

3. 自助的、多租户的数据运行开发及颁布

现有的绝大局部大数据平台要求经常使用者具有必定的编程才干。数据中台强调的是为业务部门赋能，而业务人员要求有一个自助的、可顺应不同水温和才干要求的开发平台。这个开发平台要能够保障数据隔离和资源隔离，这样任何一个经常使用系统的人都不用担忧自己会对系统形成侵害。

4. 数据运行运维

用户应该可以很繁难地将自己开发的数据运行自助颁布到消费系统中，而毋庸通过专门的数据团队。由于咱们要求共享这些运行及其发生的数据，所以要求有相似于CI/CD的专门系统来控制运行的代码品质和启动版本控制。

在数据运行运转环节中发生的数据也要求全程监控，以保障数据的完整性、正确性和实时性。

5. 数据运行集成

应该可以随时集成新的数据运行。新的大数据运行、人工默认工具始终涌现，咱们的系统应该能够随时支持这些新运行。假设数据中台不能支持这些运行，各个业务部门或许又会打造自己的小集群，形成新的数据孤岛及运行孤岛。

6. 数据即服务，模型即服务

数据剖析的结果，不论是统计剖析的结果，还是机器学习生成的模型，应该能够很快地经常使用无代码的形式颁布，并供全机构经常使用。

7. 数据才干共享控制

大局部数据才干应当具有完善的共享控制机制、繁难安保的共享机制以及灵敏的反应机制。最后选择数据如何经常使用的是独立的团体，他们要求一套失掉信息的机制，因此在机构外部必定要有这样的共享机制，才干真正让数据用起来。

8. 完善的运营目的

数据中台强调的是可权衡的数据价值，因此，关于数据在系统中的经常使用形式、被经常使用的频率、最后发生的成果，必定要有必定的运营目的，才干验证数据的价值和数据中台名目的效率。

综合上方的探讨，除了阿里巴巴提出的OneID、OneModel、OneService之外，咱们以为数据中台还应该满足以下两个要求。

1. TotalPlatform

一切中台数据及相关的运行应该在一致平台中一致控制。假设有数据存储在中台控制不到的中央，或许有人在中台未知的状况下经常使用数据，咱们就不可真正成功对数据的全局控制。这要求数据中台能极速支持新的数据格局和数据运行，便于数据工具的共享，而毋庸树立一个分别的系统。

2. TotalInsight

数据中台应该能够了解并控制系统中数据的流动，提供数据价值的定量权衡，明白各个部门的破费和产出。整个中台的运营是有序可控的，而不是一个黑盒子，用户可以轻松了解全局的数据资产和才干，从系统中极速成功数据变现。

如图1-3所示，数据中台可以说是依照必定的规范要求树立的数据才干平台，在数据仓库、大数据平台、数据服务、数据运行的树立中成功了合乎OneID、OneModel、OneService的数据层。

这个数据层，加上在其上树立的业务才干层以及运营这个数据中台要求的TotalPlatform、TotalInsight，构成咱们看到的数据中台。

▲图1-3 数据中台的五大要求

关于作者：彭锋，智领云科技联结开创人兼CEO。武汉大学计算机系本科及硕士，美国马里兰大学计算机专业博士，重要钻研方向是流式半结构化数据的高性能查问引擎，在数据库顶级会议和期刊SIGMOD、ICDE、TODS上宣布多篇开创性论文。2011年添加Twitter，任大数据平台主任工程师、公司架构师委员会大数据担任人，担任公司大数据平台及流水线的树立和控制。

宋文欣，智领云科技联结开创人兼CTO。武汉大学计算机系本科及硕士，美国纽约州立大学石溪分校计算机专业博士。曾先后到任于Ask.com和EA(电子艺界)。2016年回国联结创立智领云科技有限公司，组建智领云技术团队，开发了BDOS大数据平台操作系统。

孙浩峰，智领云科技市场总监。前CSDN内容运营副总编，关注云计算、大数据、人工默认、区块链等技术畛域，对云计算、网络技术、网络存储有深入意识。领有丰盛的媒体从业阅历和专业的网络安保技术功底，具有超越15年的企业级IT市场流传、推行、宣传和写作阅历，撰写过多篇在业界具有必定影响力的文章。

本文摘编自《云原生数据中台：架构、方法论与通常》，经出版方授权颁布。