标签：Map 经验 倾斜 MapReduce 过多 空值 生产 数据

1.MapReduce跑得慢的原因

 

MapReduce程序效率的瓶颈在于两点：

（1）计算机性能

  CPU、内存、磁盘、网络

 

（2）I/O操作优化

  1）数据倾斜

  2）Map运行时间太长，导致Reduce等待过久

  3）小文件过多

 

2.MapReduce常用调优参数

 

 

 

 

 

 

 

 

3.MapReduce数据倾斜问题

（1）数据倾斜现象

  数据频率倾斜——某一个区域的数据量要远远大于其他区域。

  数据大小倾斜——部分记录的大小远远大于平均值。

 

 

（2）减少数据倾斜的方法

  1）首先检查是否空值过多造成的数据倾斜。

  生产环境，可以直接过滤掉空值；如果想保留空值，就自定义分区，将空值加随机数打散。最后再二次聚合。

 

 

  2）能在map阶段提前处理，最好先在Map阶段处理。如：Combiner、MapJoin。

 

 

  3）设置多个reduce个数。

 

标签：Map,经验,倾斜,MapReduce,过多,空值,生产,数据
来源： https://www.cnblogs.com/xiao-wang-tong-xue/p/16540777.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。