标签：SparkContext String val Value RDD 分组 SparkConf groupBy

Value类型-groupBy()分组

1、groupBy()算子函数签名：
def groupBy(f : T =>K]) : RDD[K, Iterable[T]]

2、算子·功能：
1、将原来RDD中的元素按照groupBy中的函数f的执行结果进行分组
2、结果相同的元素进入同一个迭代器
3、groupBy算子存在shuffle
4、shuffle会落盘，元素会在不同分区中乱窜

3、例子1：将偶数、奇数分别分组

1.   package com.zhaoxuan.scalatest  
2.  
3.import org.apache.spark.rdd.RDD  
4.import org.apache.spark.{SparkConf, SparkContext}  
5.  
6./**  
7.  * 3、例子1：将偶数、奇数分别分组  
8.  * */  
9.object GroupByTest1 {  
10.  def main(args: Array[String]): Unit = {  
11.    val conf : SparkConf = new SparkConf().setAppName("groupBy-Test1").setMaster("local[*]")  
12.    val sc : SparkContext = new SparkContext(conf)  
13.    val num : RDD[Int] = sc.makeRDD(1 to 10,2)  
14.    val group : RDD[(Int,Iterable[Int])] = num.groupBy(num => num % 2)  
15.    group.collect.foreach(println)  
16.  }  
17.} 

例子2：将字符串首字母相同的分一组

package com.zhaoxuan.scalatest

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

/**
  * 例子2：将字符串首字母相同的分一组
* */
object GroupByTest2 {
  def main(args: Array[String]): Unit = {
    val conf : SparkConf= new SparkConf().setAppName("groupBy-Test2").setMaster("local[*]")
    val sc : SparkContext = new SparkContext(conf)
    val strRDD : RDD[String] = sc.makeRDD(List("zx","zk","home","spark"))
    val group : RDD[(Char,Iterable[String])]= strRDD.groupBy(str => str.charAt(0))
    //简写
    val group1 : RDD[(Char,Iterable[String])]= strRDD.groupBy(_.charAt(0))
    group.collect.foreach(println)
  }
}

标签：SparkContext,String,val,Value,RDD,分组,SparkConf,groupBy
来源： https://blog.csdn.net/qq_41549462/article/details/116504490

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。