ACK on 阿里大数据云原生化通常 产品引见 EMR Spark

一、云原生化应战及阿里通常

大数据技术开展趋向

云原生化面临应战

如何构建以对象存储为底座的 HCFS 文件系统

齐全兼容现有的 HDFS性能对标 HDFS，老本降落

如何处置 ACK 混合异构机型

异构机型没有本地盘社区 [Spark-25299] 探讨，允许 Spark 灵活资源，成为业界共识

如何有效允许跨机房、跨专线混合云

须要在容器内允许缓存系统

如何处置调度性能瓶颈

性能对标 Yarn多级队列治理

错峰调度Yarnon ACK 节点资源相互感知

阿里通常 - EMR on ACK

全体打算引见

经过数据开发集群/调度平台提交到不同的口头平台错峰调度，依据业务高峰低峰战略调整云原生数据湖架构，ACK 弹性扩缩容才干强经过专线，云上云下混合调度ACK 治理异构机型集群，灵敏性好

二、Spark 容器化打算

打算引见

1、为什么须要 Remote Shuffle Service？

RSS 使得 Spark 作业不须要 Executor Pod 挂载云盘。挂载云盘十分不利于裁减性和大规模的消费通常。云盘的大小不可当时确定，大了糜费空间，小了 Shuffle 会失败。RSS 专门为存储计算分别场景设计。Executor 将 shuffle 数据写入了 RSS 系统，RSS 系统来担任治理 shuffle 数据，Executor 闲暇后即可以回收。[SPARK-25299]可以完美允许灵活资源，防止数据歪斜的长尾义务拖住 Executor 资源不能监禁。2、RSS 性能如何，老本如何，裁减性如何？

RSS 关于 shuffle 有很深的优化，专门为存储与计算分别场景、K8s 弹性场景而设计。针对 Shufflefetch 阶段，可以将 reduce 阶段的随机读变为顺序读，大大优化了作业的稳固性和性能。可以间接应用原有 K8s 集群中的磁盘启动部署，不须要加多余的云盘来启动 shuffle。性价比十分高，部署方式灵敏。

Spark Shuffle

发生 numMapper * numReducer 个 block顺序写、随机读写时 Spill单正本，丢数据需 stage 重算

EMR Remote Shuffle Service

追加写、顺序读无写时 Spill两正本；正本复制到内存后即成功正本之间经过内网备份，无需公网带宽

RSS TeraSort Benchmark

备注说明：以10T Terasort 为例，shuffle 量紧缩后大概 5.6T。可以看出该量级的作业在 RSS 场景下，因为 shuffle read 变为顺序读，性能会有大幅优化。

Spark on ECI 效果