标签：isal lib CentOS cdh6.3 Hadoop snappy Dbundle Drequire

实践：Hadoop-3.0.0-cdh6.3.2 移植指南（CentOS 7）

前言

虽然本文参考了鲲鹏BoostKit大数据使能套件之Hadoop-3.0.0-cdh6.3.2 移植指南（CentOS 7.6）和CentOS 7.2 环境编译 hadoop-2.6.0-cdh5.15.1，参考此两文虽不是很顺畅，但解决了大部分问题。现在只能编译成功部分扩展功能，而暂时无法实现Add Codec for ZStandard Compression，现状如下：
若把华为云上的编译命令由

mvn install -Pdist,native -DskipTests -Dtar -Drequire.isal -Dbundle.isal -Disal.lib=/opt/module/isa-l-2.29.0/.libs/ -Drequire.zstd -Dbundle.zstd -Dzstd.lib=/opt/module/zstd-1.4.4/lib/ -Drequire.snappy -Dbundle.snappy -Dsnappy.lib=/usr/lib64/

改为

mvn install -Pdist,native -DskipTests -Dtar -Drequire.isal -Dbundle.isal -Disal.lib=/opt/module/isa-l-2.29.0/.libs/ -Drequire.snappy -Dbundle.snappy -Dsnappy.lib=/usr/lib64/ -Dmaven.javadoc.skip=true -DskipTests=true

便能够成功编译并使其集成isal、snappy等本地库功能，但难道若使用谷歌zstd压缩算法，必须修改hadoop3的源码？因为我看到了：HADOOP-17125. Use snappy-java in SnappyCodec
有没有人一起探索的？

标签：isal,lib,CentOS,cdh6.3,Hadoop,snappy,Dbundle,Drequire
来源： https://blog.csdn.net/benpaodexiaowoniu/article/details/115432197

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。