标签：SparkContext ... 模式 case 源码 master Spark local

• 结论
• SparkContext
• 第三方集群模式

结论

SparkContext启动，根据setMaster设置的Url匹配运行模式。

SparkContext

// 根据设置的master字符串的内容进行匹配
master match {
      // local模式
      case "local" => ...
      ...
      // local[n] 和 local[*] 模式 n为thread数量
      case LOCAL_N_REGEX(threads)
      ...
      // local[N, maxRetries]
      case LOCAL_N_FAILURES_REGEX(threads, maxFailures)
      ...
      // spark:// Spark standalone 集群模式
      case SPARK_REGEX(sparkUrl)
      ...
      // Yarn Mesos K8s 集群模式
      case masterUrl =>
        ...
        try {
          // YarnClusterScheduler
          val scheduler = cm.createTaskScheduler(sc, masterUrl)
          // YarnClusterSchedulerBackend
          val backend = cm.createSchedulerBackend(sc, masterUrl, scheduler)

第三方集群模式

https://spark.apache.org/docs/latest/cluster-overview.html#cluster-manager-types

标签：SparkContext,...,模式,case,源码,master,Spark,local
来源： https://www.cnblogs.com/abc608088/p/16218964.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。