标签：map set GROUP reduce hive 调优 HIVE 倾斜 数据

默认情况下，map阶段同一key数据分发给同一reduce，如果单一key过大就很容易造成数据倾斜。（100条数据分组后一组90条，一组10条，这就会数据倾斜）
这样的话，我们就可以预先在map端进行一些聚合操作，减轻reduce端的压力。

常用参数：
–是否在 Map 端进行聚合，默认为 True
set hive.map.aggr = true
–在 Map 端进行聚合操作的条目数目
set hive.groupby.mapaggr.checkinterval = 100000
–有数据倾斜的时候进行负载均衡（默认是 false）
set hive.groupby.skewindata = true
hive分组的负载均衡策略是：
生成两个MR job
第一个MR job中的map端会随机将数据分发给reduce端，从而降低数据倾斜的发生。
第二个MR job在根据预处理的数据结果按照Group By Key再次分发数据完成分组。
相当于进行了一次彻彻底底的shuffle来消除数据倾斜。
实际优化过程中：str_to_map函数加持的情况下，从 1小时优化为 30分钟，效果还是比较明显的。

示意图：

标签：map,set,GROUP,reduce,hive,调优,HIVE,倾斜,数据
来源： https://blog.csdn.net/zhuzhen123zhuzhen/article/details/120442549

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。