标签：memory Storage 源码 内存 Executor spark Execution Spark

原文链接：http://blog.leanote.com/post/kobeliuziyang/Spark-%E5%86%85%E5%AD%98%E7%AE%A1%E7%90%86%E6%A8%A1%E5%9E%8B-2

Spark源码[1]-内存管理模型

目录

1.1 堆内内存

1.2 Executor内部内存结构

1.3 堆外内存

1.4 内存动态调整机制

       2 Spark1.6之前的静态内存模型

       3 补充

---

1 动态内存模型

Spark1.6版本之后，默认使用动态内存。

1.1 堆内内存

在Yarn调度器模式中，内存的基本结构如下，会再NodeManager上申请一个container，也就是一个JVM作为一个Executor，而Executor包含了两部分内存。

一是有spark.yarn.executor.memoryOverHead(注意在2.3版本及之后，使用spark.executor.memoryOverHead)指定的Off-heap内存，如果不指定，则设置其为min(executorMemory*0.1,348MB)作为其大小，一般生产环境我们不会把executor设置小雨3.5G，所以，其实默认就是348MB。该部分内存主要用于创建Java Object时的额外开销，Native方法调用，NIO Buffer等开销，该部分是用户代码及spark不可以操作的内存。
需要注意的是，Yarn一定会设置一个container的上限内存，由yarn.scheduler.maximum-allocation-mb来指定，overHead内存和executorMemory的和不能超过container上限，不然会被杀掉。

1.2 Executor内部内存结构

默认情况下，Spark只使用了堆内存，有如下4部分：

• Execution（执行）内存：用于存放Shuffle、Join、Sort、Aggregation等计算过程中的临时数据，主要就是Writer阶段的未溢写数据临时占用的内存，以及Reader阶段拉取到的Shuffle数据
• Storage（存储）内存：主要用于存放RDD的缓存和广播数据，UnrollBlock数据也会从这里获取
• 用户内存（User Memory）:其实就是Task的执行内存，用于存储RDD转换所需要的数据，例如RDD依赖等信息，用来存储Spark内部对象
• 预留内存（Reserved Memory）：系统预留内存，防止内存溢出，默认写死为300M，一般无需改动，不用关心此部分内存。 但如果Executor分配的内存小于 1.5 * 300 = 450M时，Executor将无法执行。

Executor申请到的堆内存总和就是上述四种，通过spark.executor.memory或者–executor-memory配置，需要注意的是，JVM堆内存无论什么时候，都会分为年轻代(1/3)和老年代(2/3)，而年轻代又分为Eden和S1、S2，比例为8：1：1，而同一时间只能有一个Serviver被使用，所以，有1/30内存不能被算进去。
Execution内存和Storage内存一共默认占总Executor的0.6，该值通过spark.memory.fraction配置。且在SparkUI的Executor标签页上显示的StorageMemory其实是Execution和Storage的总和。
Storage比例通过spark.memory.StorageFraction 进行设置，默认0.5。

1.3 堆外内存

在Spark1.6之后，Spark引入了堆外内存，分为Execution和Storage内存，分配多大就占用多大，不受其他因素影响，与堆内内存一样，它们也可以互相占用

1. #开启堆外内存并设置大小为10GB
2. spark.memory.offHeap.enabled true
3. spark.memory.offHeap.size 10737418240

1.4 内存动态调整机制

Spark1.6之后的动态调整如下：

• Execution内存和Storage内存任一方没有占满（比例由spark.memory.storageFraction设置），那么使用内存多且超过自身限制的的可以借用其内存
• Execution内存被Storage借用，如果Execution要使用这部分，会强制Storage数据溢写磁盘，从而归还内存
• Storage内存被Execution借用，如果Storage要使用这部分，不能强制Execution归还，因为Shuffle过程复杂，且数据一定会被用到

2 Spark1.6之前的静态内存模型

主要特性是内存之间不能互相借用，存储和执行内存分别占Executor的0.6和0.2。并且每一部分都有一个安全比例阀值，放置内存溢出。存储内存通过spark.storage.safetyFraction设置，默认0.9；执行内存通过spark.shuffle.safetyFraction，默认0.8；Unroll内存在存储内存的安全空间中，通过spark.storage.unrollFraction设置，默认0.2。
展开内存（Unroll）表示将RDD中的数据分区由不连续的存储空间组织为连续的存储空间。
另外，固定内存模式没有300MB的固定用户内存空间

3 补充

在代码中查看对象占用大小：

1. import org.apache.spark.util.SizeEstimator
2. val size:Long=SizeEstimator.estimate(map)

如果希望查看RDD大小：将RDDcache，然后看Web页面的Storage子页面。

标签：memory,Storage,源码,内存,Executor,spark,Execution,Spark
来源： https://blog.csdn.net/dingyufei615/article/details/100573469

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。