标签：TaskScheduler 流程 Application task 内核 TaskSet Executor Spark

这是一个较为细粒度的Spark运行流程。

• 我们写的Spark程序叫做Application。
• Application会通过spark-submit来提交给Spark集群来运行。具体来说就是spark-submit会通过反射机制来创建和构造一个DriverAcor进程出来。这里的Driver就是我们的驱动程序，它负责执行我们的代码，当然在执行代码的时候首先会初始化SparkContext。
• 在初始化SparkContext的时候主要会执行两件事情。第一就是构建TaskScheduler与DAGScheduler。接下来进行详细的解释。

        1)在我们写的Spark的代码中有很多的算子操作。当代码执行到每一个action的时候就会创建一个job。然后这个job会交给DAGScheduler，DAGScheduler会将job划分为多个stage，然后每个stage创建一个TaskSet再将这个TaskSet交给TaskScheduler。

       2) TaskScheduler首先会向Master注册这个Application。Master在接收到注册信息之后会使用自己的资源调度算法在Spark集群的Woker上为这个Application启动多个Executor。Executor在启动之后会反向注册给TaskScheduler。这时TaskScheduler就会将TaskSet中的任务提交到Executor运行。而Executor每收到一个task都会用TaskRunner来封装这个Task，然后再取出一个线程来执行这个task。

       3)Spark就是通过这样的通过Stage分批次的作为TaskSet提交到executor来执行的。其中每一个task对应着一个partition来的数据来执行。

附加说明：

• 上面我们提到了TaskRunner，它具体做的事情就是将我们写的代码也就是执行的算子和函数反序列化到各个工作节点去执行。
• Task有两种类型，ShuffleMapTask和ResultTask，只有最后一个Stage所涉及的task为ResultTask其余都是ShuffleMapTask。

标签：TaskScheduler,流程,Application,task,内核,TaskSet,Executor,Spark
来源： https://blog.csdn.net/qq_34993631/article/details/86479412

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。