标签：key numPartitions 分区 RDD HashPartitioner RangePartitioner Spark partitions

Spark分区器HashPartitioner和RangePartitioner代码详解

iteblog 过往记忆大数据

　　在Spark中分区器直接决定了RDD中分区的个数；也决定了RDD中每条数据经过Shuffle过程属于哪个分区；也决定了Reduce的个数。这三点看起来是不同的方面的，但其深层的含义是一致的。
　　我们需要注意的是，只有Key-Value类型的RDD才有分区的，非Key-Value类型的RDD分区的值是None的。
　　在Spark中，存在两类分区函数：HashPartitioner和RangePartitioner，它们都是继承自Partitioner，主要提供了每个RDD有几个分区（numPartitions）以及对于给定的值返回一个分区ID（0~numPartitions-1），也就是决定这个值是属于那个分区的。
HashPartitioner分区
　　HashPartitioner分区的原理很简单，对于给定的key，计算其hashCode，并除于分区的个数取余，如果余数小于0，则用余数+分区的个数，最后返回的值就是这个key所属的分区ID。实现如下：

01  class HashPartitioner(partitions: Int) extends Partitioner {
02  require(partitions >= 0, s"Number of partitions ($partitions) cannot be negative.")
03  
04  def numPartitions: Int = partitions
05  
06  def getPartition(key: Any): Int = key match {
07  case null => 0
08  case _ => Utils.nonNegativeMod(key.hashCode, numPartitions)
09  }
10  
11  override def equals(other: Any): Boolean = other match {
12  case h: HashPartitioner =>
13  h.numPartitions == numPartitions
14  case _ =>
15  false
16  }
17  
18  override def hashCode: Int = numPartitions
19  }

标签：key,numPartitions,分区,RDD,HashPartitioner,RangePartitioner,Spark,partitions
来源： https://blog.51cto.com/15127589/2680390

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。