终于有人将Spark的技术框架讲明确了

Spark是加州大学伯克利分校的AMP试验室开源的相似MapReduce的通用并行计算框架，领有MapReduce所具有的散布式计算的好处。但不同于MapReduce的是，Spark更多地驳回内存计算，缩小了磁盘读写，比MapReduce性能更高。同时，它提供了愈加丰盛的函数库，能更好地实用于数据开掘与机器学习等剖析算法。

Spark在Hadoop生态圈中关键是代替MapReduce启动散布式计算，如下图所示。同时，组件SparkSQL可以交流Hive对数据仓库的解决，组件SparkStreaming可以交流Storm对流式计算的解决，组件Spark ML可以交流Mahout数据开掘算法库。

Spark在Hadoop生态圈中的位置

01Spark的运转原理

如今，咱们曾经不再要求去学习繁缛的MapReduce设计开发了，而是间接上手学习Spark的开发。这一方面是由于Spark的运转效率比MapReduce高，另一方面是由于Spark有丰盛的函数库，开发效率也比MapReduce高。

首先，从运转效率来看，Spark的运转速度是Hadoop的数百倍。为什么会有如此大的差异呢?关键在于它们的运转原理，Hadoop总要读取磁盘，而Spark更多地是在启动内存计算，如下图所示。

Hadoop的运转总是在读写磁盘

前面谈到，MapReduce的关键运算环节，实践上就是周而复始地口头Map与Reduce的环节。但是，在口头每一个Map或Reduce环节时，都要先读取磁盘中的数据，而后口头运算，最后将口头的结果数据写入磁盘。因此，MapReduce的口头环节，实践上就是读数据、口头Map、写数据、再读数据、口头Reduce、再写数据的往返环节。这样的设计只管可以在海量数据中缩小对内存的占用，但频繁地读写磁盘将消耗少量期间，影响运转效率。

同样，Spark的口头环节只要第一次性要求从磁盘中读数据，而后就可以口头一系列操作。这一系列操作也是相似Map或Reduce的操作，但是在每次口头前都是从内存中读取数据、口头运算、将口头的结果数据写入内存的往返环节，直到最后一个操作口头完才写入磁盘。这样整个口头的环节中都是对内存的读写，只管会少量占用内存资源，但是运转效率将大大优化。

Spark框架的运转原理如下图所示，Spark在集群部署时，在NameNode节点上部署了一个SparkDriver，而后在每个DataNode节点上部署一个Executor。SparkDriver是接纳并调度义务的组件，而Executor则是散布式口头数据解决的组件。同时，在每一次性口头数据解决义务之前，数据文件曾经经过HDFS散布式存储在各个DataNode节点上了。因此，在每个节点上的Executor会首先经过Reader读取本地磁盘的数据，而后口头一系列的Transformation操作。每个Transformation操作的输入是数据集，在Spark中将其组织成弹性散布式数据集(RDD)，从内存中读取，最后的输入也是RDD，并将其写入内存中。这样，整个一系列的Transformation操作都是在内存中读写，直到最后一个操作Action，而后经过Writer将其写入磁盘。这就是Spark的运转原理。

Spark框架的运转原理图

同时，Spark领有一个十分丰盛的函数库，许多罕用的操作都不要求开发人员自己编写，间接调用函数库就可以了。这样大大提高了软件开发的效率，只用写更少的代码就能口头愈加复杂的解决环节。在这些丰盛的函数库中，Spark将其分为两种类型：转换(Transfer)与举措(Action)。

Transfer的输入是RDD，输入也是RDD，因此它实践上是对数据启动的各种Trans-formation操作，是Spark要编写的关键程序。同时，RDD也分为两种类型：普通RDD与名-值对RDD。

普通RDD，就是由一条一条的记载组成的数据集，从原始文件中读取进去的数据通常都是这种方式，操作普通RDD最关键的函数包含map、flatMap、filter、distinct、union、intersection、subtract、cartesian等。

名-值对RDD，就是k-v存储的数据集，map操作就是将普通RDD的数据转换为名-值对RDD。有了名-值对RDD，能力对其启动各种reduceByKey、joinByKey等复杂的操作。操作名-值对RDD最关键的函数包含reduceByKey、groupByKey、combineByKey、mapValues、flatMapValues、keys、values、sortByKey、subtractByKey、join、leftOuterJoin、rightOuterJoin、cogroup等。

一切Transfer函数的另外一个关键特色就是，它们在解决RDD数据时都不会立刻口头，而是延早退下一个Action再口头。这样的口头成果就是，当一切一系列操作都定义好，一次性性口头成功，而后立刻写磁盘。这样在口头环节中就缩小了期待期间，进而缩小了对内存的占用期间。

Spark的另外一种类型的函数就是Action，它们输入的是RDD，输入的是一个数据结果，通常拿到这个数据结果就要写磁盘了。依据RDD的不同，Action也分为两种：针对普通RDD的操作，包含collect、count、countByValue、take、top、reduce、fold、aggregate、foreach等;针对名-值对RDD的操作，包含countByKey、collectAsMap、lookup等。

02Spark的设计开发

Spark的设计开发允许3种言语，Scala、Python与Java，其中Scala是它的原生言语。Spark是在Scala言语中成功的，它将Scala作为其运行程序框架，能够与Scala严密集成。Scala言语是一种相似Java的函数式编程言语，它在运转时也经常使用Java虚构机，可以与Java言语无缝联合、相互调用。同时，由于Scala言语驳回了比拟盛行的函数式编程格调，所以代码愈加精简，编程效率更高。

前面解说的那段计算词频的代码如下：

为了成功这个配置，前面解说的MapReduce框架要求编写一个Mapper类和一个Reducer类，还要经过一个驱动程序把它们串联起来能力够口头。但是，在Spark程序中经过Scala言语编写，只要要这么5行代码就可以成功，编程效率大大优化。这段代码假设经常使用Java言语编写，那么要求编写成这样：

很显然，驳回Scala言语编写的Spark程序比Java言语的更精简，因此更易于保养与变卦。所以，Scala言语将会成为更多大数据开发团队的选用。

下图是一段完整的Spark程序，它包含初始化操作，如SparkContext的初始化、对命令参数args的读取等。接着，从磁盘载入数据，经过Spark函数解决数据，最后将结果数据存入磁盘。

完整的Spark程序

03Spark SQL设计开发

在未来的三五年期间里，整个IT产业的技术架构将会出现天翻地覆的变动。数据量疯涨，原有的数据库架构下的存储老本将越来越高，查问速度越来越慢，数据裁减越来越艰巨，因此要求向着大数据技术转型。

大数据转型要求开发人员相熟Spark/Scala的编程形式、散布式计算的设计原理、少量业务数据的剖析与解决，还要求开发人员相熟SQL语句。

因此，迫切要求一个技术框架，能够允许开发人员用SQL语句启动编程，而后将SQL言语转化为Spark程序启动运算。这样的话，大数据开发的技术门槛会大大降落，更多普通的Java开发人员也能够介入大数据开发。这样的框架就是SparkSQL+Hive。

SparkSQL+Hive的设计思绪就是，将经过各种渠道采集的数据存储于Hadoop大数据平台的Hive数据库中。Hive数据库中的数据实践上存储在散布式文件系统HDFS中，并将这些数据文件映射成一个个的表，经过SQL语句对数据启动操作。在对Hive数据库的数据启动操作时，经过SparkSQL将数据读取进去，而后经过SQL语句启动解决，最后将结果数据又存储到Hive数据库中。

首先，经过以上语句在Hive数据库中建表，每个表都会在HDFS上映射成一个数据库文件，并经过HDFS启动散布式存储。成功建表，Hive数据库的表不允许一条一条数据的拔出，也不允许对数据的降级与删除操作。数据是经过一个数据文件一次性性载入的，或许经过相似insertinto T1 select * from T2的语句将查问结果载入表中。

1#从NameNode节点中加载数据文件2LOADDATA3#从NameNode节点中加载数据文件到分区表4LOADDATA5OVERWRITE6#从HDFS中加载数据文件到分区表

加载数据，就可以经过SQL语句查问和剖析数据了：

2LEFT4WHEREa_table.a4=

留意，这里的join操作除了有左衔接、右衔接、内衔接以外，还有半衔接(SEMI JOIN)，它的口头成果相似于in语句或exists语句。

有了Hive数据库，就可以经过Spark SQL去读取数据，而后用SQL语句对数据启动剖析了：

在这段代码中，首先启动了Spark的初始化，而后定义了一个名为getYear的函数，接着经过spark.sql()对Hive表中的数据启动查问与解决。最后，经过df.write.mode().saveAsTable()将结果数据写入另一张Hive表中。其中，在口头SQL语句时，可以将getYear()作为函数在SQL语句中调用。

有了Spark SQL+Hive的打算，在大数据转型的时刻，实践上就是将过去存储在数据库中的表变为Hive数据库的表，将过去的存储环节变为SparkSQL程序，将过去存储环节中的函数变为Spark自定义函数。这样就可以协助企业愈加轻松地由传统数据库架构转型为大数据架构。

本书摘编自《架构真意：企业级运行架构设计方法论与通常》，经出版方授权颁布。