首页 > 其他分享> 文章详细

apache tez 编译安装与验证

2021-09-22 22:58:37 阅读：278 来源： 互联网

标签：0.9 tar gz hadoop 编译 tez apache Tez

基本介绍

Apache Tez是构建于Apache Hadoop YARN上，基于有向无环图进行数据处理的框架。

主要设计主题：

授权终端用户
- 表达性数据流定义API
- 灵活的输入处理输出运行模型
- 数据类型无关
- 极易部署
执行性能
- 优于mapreduce
- 优化资源管理
- 运行时计划重新配置
- 动态物理数据流决策

通过允许像Apache Hive和Apache Pig这样的项目运行复杂的DAG任务，Tez可以用来处理数据，以前需要多个MR任务，现在只需要一个Tez任务，如下所示。

下载地址

https://tez.apache.org/releases/index.html

安装部署

版本适配

对于Tez版本0.8.3和更高，Tez需要Apache Hadoop版本2.6.0或更高。对于Tez版本0.9.0及更高版本，Tez需要Apache Hadoop版本2.7.0或更高。所以说，我们在选用tez时，是需要先确定我们的hadoop版本的。

适配hadoop版本进行tez源码编译

编译平台

操作系统：centos 7.6

CPU架构：x86_64

依赖安装

首先确保已经安装

jdk8
maven3

protobuf-2.5.0安装

yum install protobuf protobuf-devel

源码编译

在确定我们使用的hadoop版本之后，选择合适的tez进行源码编译。这边以

tez-0.9.2
hadoop-3.2.0

为例对tez进行源码编译。

源码下载与解压

wget https://mirror.olnevhost.net/pub/apache/tez/0.9.2/apache-tez-0.9.2-src.tar.gz
tar zxvf apache-tez-0.9.2-src.tar.gz

源码编译

cd apache-tez-0.9.2-src && mvn clean package -Dtar -Dhadoop.version=3.2.0 -DskipTests

编译完成之后，得到tez-dist/target/tez-0.9.2.tar.gz

功能测试

首先确保hadoop正常安装，包括hdfs和yarn

参考：如何安装hadoop yarn

将tez-0.9.2.tar.gz上传到hdfs的/app/tez目录

hdfs dfs -put tez-0.9.2.tar.gz /app/tez/

新建tez目录，并将tez-0.9.2.tar.gz复制到tez钟

mkdir -p /data/tez/conf
cp tez-0.9.2.tar.gz /data/tez
cd /data/tez && tar zvf tez-0.9.2.tar.gz

新建tez-site.xml，内容如下

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<configuration>
<property>
<name>tez.lib.uris</name>
<value>/app/tez/tez-0.9.2.tar.gz</value>
</property>
</configuration>

修改/etc/profile，新增

export TEZ_CONF_DIR=/data/tez/conf
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$TEZ_CONF_DIR:/data/tez/*:/data/tez/lib/*

修改mapred-site.xml，将

  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

改为

  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

执行测试脚本：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar wordcount /test/ output-1

得到结果：

标签：0.9,tar,gz,hadoop,编译,tez,apache,Tez
来源： https://blog.csdn.net/weixin_39636364/article/details/120424772

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9