标签：Worker RDD job Master 原理 基本操作 Spark Stage stage

1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。

2.请阐述Spark的几个主要概念及相互关系：

   RDD,DAG,Application, job,stage,task,Master, worker, driver,executor,Claster Manager

RDD任务划分原理
窄依赖不会shuffle，所有的RDD分区转换可以并行进行，所以各种task可以在同一个stage中进行；

宽依赖由于会产生shuffle，上一个stage没完，数据不会进行shuffle到下一个stage，下一个stage只能等待，所以宽依赖是划分阶段的依据。

RDD任务切分级别为：Application、Job、Stage、Task

1.Task(任务)：RDD中的一个分区对应一个task，task是单个分区上最小的处理流程单元。将Stage划分的结果发送到不同的Executor中执行。

2.TaskSet(任务集)：一组关联的，但相互之间没有Shuffle依赖关系的Task集合。

3.Stage(调度阶段)：一个taskSet对应的调度阶段，每个job会根据RDD的宽依赖关系被切分很多Stage，每个stage都包含 一个TaskSet。

4.job(作业)：由Action算子触发生成的由一个或者多个stage组成的计算作业（至少有一个ResultStage）。

5.application：初始化一个SparkContext即生成一个Application，用户编写的spark应用程序，由一个或者多个job组成，提交到spark之后，spark为application分派资源，将程序转换并执行。

6.DAGScheduler：根据job构建基于stage的DAG，并提交stage给TaskScheduler。

ps：shuffle之后会产生新的Stage，重新分区

在基于standalone的Spark集群，Cluster Manger就是Master。 
Master负责分配资源，在集群启动时，Driver向Master申请资源，Worker负责监控自己节点的内存和CPU等状况，并向Master汇报。

从资源方面，可以分为两个层面： 
1）资源的管理和分配 
资源的管理和分配，由Master和Worker来完成。Master给Worker分配资源， 
Master时刻知道Worker的资源状况。 
客户端向服务器提交作业，实际是提交给Master。

2）资源的使用 
资源的使用，由Driver和Executor。程序运行时候，向Master请求资源。

 一个Worker默认情况下分配一个Executor，配置时根据需要也可以配置多个Executor。一个节点，如果配置了多个Executor，那么就会涉及到性能调优

标签：Worker,RDD,job,Master,原理,基本操作,Spark,Stage,stage
来源： https://www.cnblogs.com/dslk/p/15979515.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。