终于有人讲明白了 数据中台怎样选型

01数据仓库选型

数据仓库选型是整个数据中台名目的重中之重，是一切开发和运行的基础。而数据仓库的选型，其实就是Hive数仓和非Hive数仓的竞赛。Hive数仓以Hive为外围，搭建数据ETL流程，配合Kylin、Presto、HAWQ、Spark、ClickHouse等查问引擎成功数据的最终展现。而非Hive数仓则以Greenplum、Doris、GaussDB、HANA(基于SAPBW构建的数据仓库普通以HANA作为底层数据库)等允许散布式裁减的OLAP数据库为主，允许数据ETL加工和OLAP查问。

自从Facebook开源Hive以来，Hive逐渐霸占了市场。Hive背靠Hadoop体系，基于HDFS的数据存储，安保稳固、读取高效，同时借助Yarn资源控制器和Spark计算引擎，可以很繁难地裁减集群规模，成功稳固地批处置。Hive数据仓库的长处在于可裁减性强，有大规模集群的运行案例，遭到广阔架构师的推崇。

只管Hive运行宽泛，然而其缺陷也是不容漠视的。

Hive的开源生态曾经齐全分化，各大互联网公司和云厂商都是基于早期的开源版本启动共性化修正投入消费经常使用的，很难再回到开源体系。Hive如今的3个版本方向1.2.x、2.1.x、3.1.x都有十分宽泛的运行，不可构成合力。

开源社区颁布的Hive版本过于毛糙，破绽太多。最典型的就是Hive3.1.0版本外面的Timestamp类型智能存储为格林尼治期间的疑问，无论怎样调整参数和系统变量都不能处置。据HDP官网说明，要求更新到3.1.2版才干处置。依据笔者实践运行的状况，Hive3.1.2版在大表关联时又偶然出现inert overwrite数据失落的状况。

Hive最影响查问性能的计算引擎也不能让人省心。Hive允许的查问引擎关键有MR、Spark、Tez。MR是自始自终的性能慢，更新到3.0版也没有任何优化。基于内存的Spark引擎性能有了大幅优化，3.x版本的稳固性只管也有所增强，然而对JDBC的允许还是比拟弱。基于MR优化的Tez引擎只管是集成最好的，然而要求依据Hadoop和Hive版本自行编译，部署和更新都十分复杂。

Hive对更新和删除操作的允许并不友好，造成在数据湖时代和实时数仓时代被迅速放弃。

Hive的查问引擎也很难让用户满意，最典型的就是以下查问引擎。

1)Spark允许SQL查问，要求启动Thrift Server，体现不稳固，查问速度普通为几秒到几分钟。

2)Impala是CDH公司推出的产品，普通用在CDH平台中，查问速度比Spark快，因为是C++开发的，因此非CDH平台装置Impala比拟艰巨。

3)Presto和Hive一样，也是Facebook开源的，语法不兼容Hive，查问速度普通为几秒到几分钟。

4)Kylin是国人开源的MOLAP软件，基于Spark引擎对Hive数据做估算并保管在Hbase或其余存储中，查问速度十分快并且稳固，普通在10s以下。然而模型构建复杂，经常使用和运维都不太繁难。

5)ClickHouse是目前最火的OLAP查问软件，特点是查问速度快，集成了各大数据库的精髓引擎，独立于Hadoop平台，要求把Hive数据同步迁徙过去，提供有限的SQL允许，简直不允许关联操作。

以Hadoop为外围的Hive数据仓库的颓势曾经是不可改动的了，MapReduce早已被市场放弃，HDFS在各大云平台也曾经逐渐被对象存储代替，Yarn被Kubernetes代替也是早晚的事。

咱们把视线裁减到Hive体系以外，就会发现MPP架构的散布式数据库正在蓬勃开展，大有取代Hive数仓的趋向。

其中技术最成熟、生态最完善的当属Greenplum体系。Greenplum自2年开源以来，教训了4.x、5.x、6.x三个大版本的更新，性能曾经十分片面和稳固了，也遭到市场的宽泛推崇。基于Greenplum提供商业版本的，除了研发Greenplum的母公司Pivotal，还有中国本地团队的守业公司四维纵横。此外，还有阿里云提供的云数据库AnalyticDBforPostgreSQL、百度云FusionDB和京东云提供的JDW，都是基于Greenplum启动云化的产品。华为的GaussDB在设计中也参考了Greenplum数据库。

OLAP查问性能最强悍的当属SAP商业数据库HANA，这是数据库畛域当之有愧的王者。HANA是一个软配件联合体，提供高性能的数据查问性能，用户可以间接对少量实时业务数据启动查问和剖析。

HANA惟一的缺陷就是太贵，软件和配件老本高昂。HANA是一个基于列式存储的内存数据库，关键具备以下长处。

百度开源的Doris也在迎头赶上，并且在百度云中提供云原生部署。ApacheDoris是一款架构上游的MPP剖析型数据库产品，仅须亚秒级照应期间即可取得查问结果，高效允许实时数据和批处置数据。ApacheDoris的散布式架构十分繁复，易于运维，并且允许10PB以上的超大数据集，可以满足多种数据剖析需求，例如固定历史报表，实时数据剖析，交互式数据剖析和探求式数据剖析等。ApacheDoris允许AGGREGATE、UNIQUE、DUPLICATE三种表模型，同时允许ROLLUP和MATERIALIZEDVIEW两种向上聚合方式，可以更好地撑持OLAP查问恳求。另外，Doris也允许极速拔出和删除数据，是未来实时数仓或许数据湖产品的有力竞争者。

尝试在OLTP的基础上融合OLAP的数据库TiDB、腾讯TBase(云平台上已改名为TDSQLPostgreSQL版)、阿里的OceanBase都在架构上做了大胆的打破。TiDB驳回行存储、列存储两种数据格局各保管一份数据的方式，区分允许极速OLTP买卖和OLAP查问。TBase则是区分针对OLAP业务和OLTP业务设置不同的计算引擎和数据服务接口，满足HTAP场景运行需求。OceanBase数据库经常使用基于LSM-Tree的存储引擎，能够有效地对数据启动紧缩，并且不影响性能，可以降低用户的存储老本。

02ETL工具选型

目前，业界比拟上游的开源ETL数据抽取工具关键有Kettle、DataX和Waterdrop。商业版本的DataStage、Informatica和DataServices三款软件不只性能复杂、开发效率低，口头大数据加载也十分慢。

Kettle(正式名为Pentaho>

图1　Moia Control系统架构

在开源畛域，随同着大数据平台的崛起，只管先后涌现了Oozie、Azkaban、AirFlow等深度融合Hadoop生态的产品，但都是稍纵即逝，目前曾经逐渐被DolphinScheduler取代。DolphinScheduler于2019年8月29日由易观科技捐献给Apache启动孵化。DolphinScheduler的产品架构如图2所示。

图2　DolphinScheduler 产品架构

DolphinScheduler是世界顶尖架构师与社区认可的数据调度平台，把复杂性留给自己，易用性留给用户，具备如下特色。

1)云原生设计：允许多云、少数据中心的跨端调度，同时也允许KubernetesDocker的部署与裁减，性能上可以线性增长，在用户测试状况下最高可允许10万级的并行义务控制。

2)高可用：去中心化的多主从节点上班形式，可以智能平衡义务负载，智能高可用，确保义务在任何节点死机的状况下都可以成功全体调度。

3)用户友好的界面：可视化DAG图，包括子义务、条件调度、脚本控制、多租户等性能，可以让运本义务虚例与义务模板分开，提供应平台保养人员和数据迷信家一个繁难易用的开发和控制平台。

4)允许多种数据场景：允许流数据处置，批数据处置，暂停、复原、多租户等，关于Spark、Hive、MR、Flink、ClickHouse等平台都可以间接调用。

此外，Kettle自身蕴含调度平台的性能，咱们可以间接在KJB文件中定义定时调度义务，也可以经过操作系统定时义务来启动Kettle，还可以去Kettle中文网放开KettleOnline在线调度控制系统。

Kettle经过KJB义务外面的START组件可以设置定时调度器，操作界面如图3所示。

图3　Kettle定时页面

此外，在Kettle中文网还提供了性能更为弱小的KettleOnline工具，十分适宜较大型Kettle名目经常使用，详细性能这里就不开展引见了。

除了上述调度工具之外，还有一些小众的Web调度工具，例如Taskctl、XXL-JOB等。总的来说，都能满足基本的需求。有研发实力的公司可以在开源版本的基础上进一步完善性能，打造属于自己的调度平台。

04BI工具选型

BI是一套完整的商业处置打算，用于将企业现有的数据启动有效的整合，极速、准确地提供报表并提出决策依据，协助企业做出理智的业务运营决策。BI工具是指可以极速成功报表创立的集成开发平台。

和调度平台不一样，BI畛域商业化产品百花齐放，而开源做成功的产品却基本没有。这也和产品的定位无关，调度平台重点关注性能成功，全体逻辑繁难通用，便于极速研收回满足基本色能的产品。而BI则要求精心打磨，始终完善和优化，才干取得市场的认可。

在早期Oracle称霸数据库市场的年代，BI畛域有3个巨头，区分是IBM Cognos、Oracle BIEE和SAP BO。在早期BI畛域，IBM50亿美元收买Cognos、SAP68亿美元收买BO都曾发明了软件行业的收买纪录。这两起收买出现区分出当初2007年和2008年。尔后是传统BI的黄金十年，这三大软件霸占了国际BI市场超越80%的份额。笔者参与上班的第一个岗位就是BIEE开发工程师，然后又兼职做过两年的Cognos报表开发，对二者都有比拟深入的意识。

在传统BI时代，关键依照星形模型和雪花模型构建BI运行，在开发BI报表之前，必定先定义各种维度表和理想表，然后经过各BI软件配套的客户端工具成功数据建模，即理想表和维度表的关联，以及局部目的逻辑的计算(例如环比、同比、年累计等)。最后在Web页面上定制报表样式，开收回基于不同挑选条件下，相反样式展现不同数据的固定报表。整个开发环节逻辑明晰，模块划明显确，系统运转也比拟稳固，作为整个数据剖析名目的“脸面”，赢得了较高的客户满意度。

传统BI以固定表格展现为主，辅以大批的图形。只管模型和页面的分别让开发变得繁难，目前宽泛运行于金融行业和大型国企控制系统中，然而也有不少缺陷，例如，星形模型的结构在大数据场景下查问速度十分慢、模型与页面的分别形成版本难以管控、模型中内嵌函数造成查找数据疑问变得艰巨等。

2017年前后，Tableau强势崛起，以“矫捷BI”的概念搅动了整个BI市场，引领BI进入一个全新的时代。

Tableau最大的特点是以可视化为外围，强调BI运行构建的矫捷性。Tableau放弃了传统BI的模型层，可以间接基于数据库的表或许查问来构建报表模块，大大降低了开发难度，优化了报表的开发效率和查问性能。曾经要求一天赋能成功的报表开发，如今或许一个小时不到就可以成功，极大优化了产出效率。

在传统BI时代，国产BI软件只管也在开展，然而不够弱小。在矫捷BI时代，FineBI、永洪BI、SmartBI、观远BI等商业化产品趁势崛起，开局抢占国际BI市场。帆软公司的FineReport和FineBI更是其中的佼佼者，稳坐国产BI软件的头把交椅，将产品铺向了广阔中小企业。国产BI在培训体系上做得更为完善，以致于笔者发如今最近半年的面试中，差不多有一半的应聘者经常使用过帆软公司的产品。

在国产化BI之外，跨国软件公司也在矫捷BI方向上做出了调整，其中笔者接触过的就有微软的Power BI和微战略的新一代MSTRDesktop。同时，云厂商也添加BI市场的争夺，其中百度云Sugar、阿里云QuickBI都是外部产品对外提供服务的案例。

总的来说，在矫捷BI畛域，国外厂商的软件成熟度高，版本兼容性好。国际厂商的软件迭代比拟快，也容易出现Bug。从成成成果上看，以上软件的差异并不大，BI战场曾经变成了UI的竞赛了，只需UI能设计出好的样式，绝大少数BI软件都可以成功近似的成果。

关于作者：王春波，资深架构师和数据仓库专家，现任上海启高信息科技有限公司大数据架构师，ApacheDoris和openGauss奉献者，Greenplum中文社区介入者。 群众号“数据中台研习社”运营者。