标签：Seq start 创建 启动 RDD sh spark

1.启动spark命令

1. start-dfs.sh
2. start-yarn.sh
3. start-spark-all.sh
4. start-history-server.sh
5. spark-shell --master spark://node1:7077

2. 创建RDD数据集

1. 从现有的Scala集合创建RDD数据集

1. parallelize(Seq, numSlices):第二个参数不用传递，代表创建的RDD的分区数，如果没传递，有一个默认值
   默认分区就是spark.default.parallelism
   如果master是local[n]，那么这个值就是n，如果yarn和standalone上运行的话，spark.default.parallelism=yarn/standalone
2. makeRDD也是从集合中创建RDD数据集
   makeRDD(Seq, numSlices) -- 底层是parallelize实现的
   makeRDD(Seq( ( T, Seq(String) ) ) ) -- 这种方式可以指定分区数据在那个节点上

2. 从外部文件系统创建RDD数据集（HDFS）

3. 从另外一个RDD使用转换算子创建RDD数据集

标签：Seq,start,创建,启动,RDD,sh,spark
来源： https://www.cnblogs.com/jsqup/p/16612885.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。