大数据解决最佳通常 Spark

内容框架：

大数据概览如何解脱技术小白Spark SQL 学习框架EMR Studio 上的大数据最佳通常

一、大数据概览

大数据解决 ETL (Data →>

二、如何解脱技术小白

什么是技术小白？

只懂外表，疑问实质比如：只懂得参考他人的 Spark 代码，疑问得 Spark 的外在机制，疑问得如何调优 Spark Job

解脱技术小白的药方

懂得运转机制学会性能学会看 Log

懂得运转机制：Spark SQL Architecture

学会性能：如何性能 Spark App

性能 Driver

spark.driver.memory

spark.driver.cores

性能 Executor

spark.executor.memory

spark.executor.cores

spark.files

spark.jars

性能 DAE ….......... 学会看 Log：Spark Log

三、Spark SQL 学习框架

Spark SQL 学习框架( 联合图形/几何）

Spark SQL 口头方案

四、EMR Studio 通常

EMR Studio 特性：

兼容开源组件支持衔接多个集群适配多个计算引擎交互式开发 + 作业调度无缝衔接实用多种大数据运行场景计算存储分别

EMR Studio 在开源软件 Apache Zeppelin，Jupyter Notebook, Apache Airflow 的基础上提升了做了提升和增强。

一个 EMR Studio 可以衔接多个 EMR 计算集群，您可以很繁难地切换计算集群，提交作业到不同的计算集群上运转。

智能适配 Hive、Spark、Flink、Presto、Impala 和 Shell 等多个计算引擎，无需复杂性能，多个计算引擎间协同上班

4. 交互式开发 + 作业调度无缝衔接

Notebook + Airflow : 无缝衔接开发环节和消费调度环节

应用交互式开发形式可以极速验证作业的正确性.在 Airflow 里调度 Notebook 作业，最大水平得保障开发环境和消费环境的分歧性，防止因为开发阶段和消费阶段环境不分歧而造成的疑问。

5. 实用多种大数据运行场景

大数据解决 ETL交互式数据剖析机器学习实时计算

一切数据都保留在 OSS 上，包含：

用户 Notebook 代码

调度作业 Log

即使集群销毁，也可以重建集群轻松复原数据