Spark自定义分区器

2021-12-14 23:35:01 阅读：224 来源： 互联网

Spark自定义分区器

Spark分区介绍

Spark 目前支持Hash 分区和 Range 分区，和用户自定义分区。Hash 分区为当前的默认分区。分区器直接决定了RDD 中分区的个数、RDD 中每条数据经过Shuffle 后进入哪个分区，进而决定了Reduce 的个数。
只有Key-Value 类型的RDD 才有分区器，非 Key-Value 类型的RDD 分区的值是 None
每个RDD 的分区 ID 范围：0 ~ (numPartitions - 1)，决定这个值是属于那个分区的。

hash分区和Range分区

Hash 分区：对于给定的 key，计算其hashCode,并除以分区个数取余
Range 分区：将一定范围内的数据映射到一个分区中，尽量保证每个分区数据均匀，而且分区间有序

自定义分区代码案例，借鉴atguigu

package com.liwei.bigdata.spark.core.partition
import org.apache.spark.rdd.RDD
import org.apache.spark.{Partitioner, SparkConf, SparkContext}

object Spark01_RDD_Partition{
  def main(args: Array[String]): Unit = {
    val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("RDD")
    val sc: SparkContext = new SparkContext(sparkConf)

    val rdd = sc.makeRDD(List(("篮球", "xxxxxx"), ("足球", "xxxxxx"), ("乒乓球", "xxxxxx"), ("电竞", "xxxxxx")))
    val pardd: RDD[(String, String)] = rdd.partitionBy(new MyPartitioner)

    pardd.saveAsTextFile("output")
  }
  
  /**
   * 自定义分区器
   * 1.继承Partitioner
   * 2.重写方法
   */
  class MyPartitioner extends Partitioner{
    //分区数量
    override def numPartitions: Int = 4

    //根据数据的key值返回数据的分区索引(从0开始)
    override def getPartition(key: Any): Int = {
      key match {
        case "篮球" => 0
        case "足球" => 1
        case "乒乓球" => 2
        case _ => 3
      }
//      if (key == "篮球"){
//        0
//      }else if (key == "足球"){
//        1
//      }else if (key == "乒乓球"){
//        2
//      }else if (key == "电竞"){
//        3
//      }else{
//        3
//      }
    }
  }
}

如有侵权，联系本人删除！！！

标签：xxxxxx,自定义,分区,RDD,key,Spark
来源： https://blog.csdn.net/weixin_46556780/article/details/121942261

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

Spark自定义分区器