OpenStack环境中运转大数据系统的四大存储疑问

【.com原创稿件】目前，OpenStack私有云运行在经过了长时期的技术累积和市场造就之后，产品的成熟度和客户的认可度都已迈入成熟。只管基于OpenStack的云环境部署量越来越多，但是很多OpenStack云环境并不提供大数据服务，比如相似AWS的ElasticMapReduce，再比如面向大数据的SQL，允许OLAP等等。与此同时，随着用户业务逐渐成功了云迁徙，在云上部署大数据系统的需求曾经日益经常出现和迫切。

2018年5月18-19日，由主办的环球软件与运维技术峰会在北京召开。在第二日上午举办的“OpenStack翻新实战”分论坛中，OStorage(奥思数据)开创人兼CTO李明宇为大家带来题为《在OpenStack云上运转大数据系统：疑问、方法与通常》的精彩演讲，针对如何在OpenStack云环境上运转大数据系统，在实践运转环节中经常出现的疑问，以及如何应用对象存储处置这些疑问开展了论述。会后，记者依据李明宇在WOT2018环球软件与运维技术峰会的演讲内容启动了整顿。

在OpenStack环境上运转大数据系统的两种方法

李明宇之前在中科院软件所上班，除了迷信钻研外，他着重处置实践工程疑问，率领团队承当散布式和云计算系统的关系研发上班。分开中科院后，李明宇不时努力于OpenStack等云计算和大数据关系开源技术的钻研和流传，为企业提供咨询、评测等技术服务。

他演讲中谈到，OpenStack是一个大体系里蕴含很多的小的开源名目，其中有六个外围名目人们最为熟知：控制虚机的Nova、控制网络的Neutron、云硬盘的Cinder、认证的Keystone以及镜像和模板控制的Glance、Swift对象存储。

李明宇示意，在OpenStack环境上运转大数据系统有两种方法：***种方法是基于OpenStack服务组件Sahara成功。他经过现场演示DEMO的方式，让大家看到如何经常使用Sahara。Sahara实践上就是OpenStack专门为运转Hadoop来打造的一个名目。假设用户经常使用的OpenStack云环境没有部署Sahara怎样办?这时可以驳回第二种方法，第二种是经过Heat和Hadoop社区的部署工具成功，用户间接收理Hadoop/大数据系统节点。OpenStack云平台上的除了依赖OpenStackSahara外，还可以在裸机上装置Hadoop。

那么，这两种方法孰优孰劣呢?李明宇剖析道，Sahara是云计算厂商视角，经常使用Sahara的好处在于服务商基于此提供大数据服务，用户经常使用更繁难，总体来说还算稳固。但Sahara其实并不是那么***，服务种类受限，灵敏性不高。而不经常使用Sahara间接收理的好处在于从用户视角登程，灵敏性好，用户可控，但是劣势在于须要由用户控制大数据集群，并且难以感知云基础设备底层个性。“用户可以依据自己的需求，选用最适宜自己的方法。”

四大存储疑问

目前，OpenStack已被很多单位经常使用，在经常使用的环节中也会提出很多疑问。而在OpenStack云上运转大数据系统最容易遇到的疑问就是存储的疑问。

李明宇示意，在存储方面***个面临的疑问，就是块存储的冗余疑问，虚机块存储/Volume底层冗余与HDFS自身的冗余。假设虚构底层是驳回Ceph允许虚机块存储，实践上虚机的块设备/Volume在Ceph上有三个正本，HDFS上又有三个正本，从而形成块存储的适度冗余。

第二个疑问是数据移动开支比计算义务的移动开支大。Hadoop集群并不是时辰都承载相反的负载压力，咱们宿愿在虚构化环境中，Hadoop集群能够具备弹性。从5个节点裁减到10个节点，再裁减到50个节点，再缩到5个节点，假设数据存储在这些节点的HDFS中，那么这时须要从新平衡数据，数据移动开支较大，须要时期、消耗网络和I/O资源。

第三个疑问，很少数据处置/剖析义务是暂时性的。为了实如今经常使用Hadoop集群或许应用大数据处置集群时，创立一个集群运转数据剖析或许数据仓库，成功作业之后这个集群就可以销毁。但是经常使用HDFS，是无法销毁存有数据的虚机的，并且还会带来额外开支。相比这些开支，网络的开支在降低，全体网络老本在降低。针对上方这些疑问，假设不再经常使用HDFS，可以用对象存储交流。也就是在云环境里运转大数据系统时，虚机只是启动计算，而数据放到对象存储。

第四个疑问是跨多个地域的系统构建存储集群。这个疑问可以经过OpenStack Swift对象存储来处置，OpenStackSwift可允许跨多个数据中心、多个地域构建存储集群，这就给用户构建跨数据中心的大数据系统带来了便利，用户在提交数据处置作业时，不用关心数据究竟是寄存在哪个数据中心，而且可以一批义务处置多个数据中心的数据，甚至少个地域的数据。

以上内容是记者依据OStorage(奥思数据)开创人兼CTO李明宇在WOT2018环球软件与运维技术峰会的采访内容整顿，更多对于WOT的内容请关注。