标签：-- Executor 调度 examples executor cores spark 资源

文章目录

• • 资源调度
  • 资源调度 Master 路径
  • 提交应用程序，submit 的路径
  • 总结:
  • 结论演示

资源调度

资源调度 Master 路径

spark-1.6.0/core/src/main/scala/org.apache.spark/deploy/Master/Master.scala

提交应用程序，submit 的路径

spark-1.6.0/core/src/main/scala/org.apache.spark/ deploy/SparkSubmit.scala

总结:

1. Executor 在集群中分散启动，有利于 task 计算的数据本地化。
2. 默认情况下（提交任务的时候没有设置–executor-cores 选项），每一个 Worker 为当前的 Application 启动一个 Executor,这个Executor 会使用这个 Worker 的所有的 cores 和 1G 内存。
3. 如果想在 Worker 上启动多个 Executor，提交 Application 的时候要加–executor-cores 这个选项。
4. 默认情况下没有设置–total-executor-cores,一个 Application 会使用 Spark 集群中所有的 cores。

结论演示

使用 Spark-submit 提交任务演示。也可以使用 spark-shell,

1. 默认情况每个 worker 为当前的 Application 启动一个 Executor，这个 Executor 使用集群中所有的 cores 和 1G 内存。

./spark-submit
--master spark://node1:7077
--class org.apache.spark.examples.SparkPi
../lib/spark-examples-1.6.0-hadoop2.6.0.jar
10000

1. 在 workr 上启动多个 Executor,设置–executor-cores 参数指定每个executor 使用的 core 数量。

./spark-submit
--master spark://node1:7077
--executor-cores 1
--class org.apache.spark.examples.SparkPi
../lib/spark-examples-1.6.0-hadoop2.6.0.jar
10000

1. 内存不足的情况下启动 core 的情况。Spark 启动是不仅看 core 配置参数，也要看配置的 core 的内存是否够用。

./spark-submit
--master spark://node1:7077
--executor-cores 1
--executor-memory 3g
--class org.apache.spark.examples.SparkPi
../lib/spark-examples-1.6.0-hadoop2.6.0.jar
10000

1. –total-executor-cores 集群中共使用多少 cores

注意：一个进程不能让集群多个节点共同启动。

./spark-submit
--master spark://node1:7077
--executor-cores 1
--executor-memory 2g
--total-executor-cores 3
--class org.apache.spark.examples.SparkPi
../lib/spark-examples-1.6.0-hadoop2.6.0.jar
10000

标签：--,Executor,调度,examples,executor,cores,spark,资源
来源： https://blog.51cto.com/u_13985831/2836521

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。