李明宇 在OpenStack云上运转大数据系统的难题与方法 WOT2018

【.com原创稿件】七年一剑，华美变质。自2012年起延续6年15场峰会，凝聚少量技术专家，博观而约取,厚积而薄发。2018WOT世界软件与运维技术峰会扬帆起航，围绕12大外围热点，会聚海外外60位一线专家，打造上流技术盛宴!

在5月19日上午举办的“OpenStack翻新实战”分论坛中，OStorage(奥思数据)开创人兼CTO李明宇将为大家带来题为《在OpenStack云上提供大数据服务：疑问、方法与通常》的精彩演讲。会前，记者有幸采访了他，提早剧透下将要分享的重点内容。

OStorage (奥思数据)开创人兼CTO/OpenStack社区布道师与奉献者

李明宇是何许人也?在WOT峰会上，他将分享什么?

李明宇是OStorage开创人兼CTO，也是OpenStack社区布道师与奉献者。在创立OStorage前，曾在中科院担任课题组担任人，将云计算、散布式存储等技术成功运行在船舶、航天、国防等畛域国度大型工程名目中。近年来，他踊跃钻研和流传OpenStack关系的云计算和云存储技术，屡次在OpenStackSummit等国际外大型会议上宣布技术演讲。

在本届WOT峰会上，李明宇将联合Hadoop和Spark，包括Hive等SQL打算，解说在大数据系统云化通常中或许会遇到的疑问及处置方法。他还泄漏：“在分享中，咱们将给介入互动的观众赠送咱们翻译并由电子工业出版社出版的《对象存储：OpenStackSwift运行、治理与开发》一书。”

他示意，之所以最终选定这个主题，是由于：虽然基于OpenStack的云环境部署量越来越多，但是很多OpenStack云环境并不提供大数据服务，比如相似AWS的ElasticMapReduce，再比如面向大数据的SQL，允许OLAP等等。另外，随着用户业务逐渐成功了云迁徙，在云上部署大数据系统的需求曾经日益经常出现和迫切。

但是，由于大数据系统的不凡性，假设在云平台上开一批虚机，而后像在物理机上做装置部署那样间接在这些虚机上部署运转Hadoop等大数据系统，往往在性能、牢靠性等各方面达不到预期。

但是，这并不能归咎于虚构化或许云平台，而是须要驳回正确的方法，这些疑问都能够迎刃而解，而且方法切当还能更好地利用虚构化和云的矫捷性、弹性、容灾等长处，赋予大数据系统更多的才干。

“剧透”：在OpenStack云上运转大数据系统的方法

那么，在OpenStack云上运转大数据系统终究有哪些方法?对此，李明宇示意，OpenStack基金会官网介绍了两种方法：

***种方法是基于OpenStack服务组件Sahara成功。Sahara又称之为OpenStack的EDP(Elastic>