标签：压缩 MapReduce Hadoop so.1 mr 机制 true lib64 数据压缩

压缩目的：

    降低数据磁盘存储空间，减少传输数据的IO量     压缩追求的指标：             压缩时间   越短越好             压缩化   越大越好             硬件需求如：CPU 算法支持    mr中可以使用压缩的地方：             map的输出数据进行数据压缩，减少shuff给reduce的数据量                 reduce的输出进行数据压缩，减少最终结果在磁盘存储所占的空间    检查Hadoop支持的压缩算法：             

[root@node-1 ~]# hadoop checknative Native library checking: hadoop: true /export/servers/hadoop-2.6.0cdh5.14.0/lib/native/libhadoop.so.1.0.0 zlib: true /lib64/libz.so.1 snappy: true /usr/lib64/libsnappy.so.1 lz4: true revision:10301 bzip2: true /lib64/libbz2.so.1 openssl: true /usr/lib64/libcrypto.so

如果某一个算法流失，可以在线yum在线装，或者重新编译Hadoop   

推荐压缩算法：

Snappy

mr中怎样使用压缩：

    在mapReduce程序中进行设置，影响当前mr程序     在mapreduce-site.xml进行配置，影响所有的mr程序

MapReduce常见算法：

• 单词计数
• 数据去重
• 排序
• Top K
• 选择
• 投影
• 分组
• 多表连接
• 单表关联

总结：

• 在Hadoop中，codec由CompressionCode的实现来表示。下面是一些实现：
• 

• 输出的压缩属性：
• 
  

  

 

标签：压缩,MapReduce,Hadoop,so.1,mr,机制,true,lib64,数据压缩
来源： https://www.cnblogs.com/TiePiHeTao/p/225e91b6bf460e7bc20d86c4502a8a88.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。