Hive集成tez引擎

2022-06-10 21:35:45 阅读：189 来源： 互联网

标签：opt module TEZ hive hadoop tez 引擎 Hive

在使用Hive 2的时候，启动时会提示：Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.

tez引擎可以将多个有依赖的作业转换为一个作业，这样只需写一次HDFS，且中间节点较少，从而大大提升作业的计算性能。

#下载tez依赖包
https://archive.apache.org/dist/tez/0.9.1/

#解压
tar -zxvf /opt/software/apache-tez-0.9.1-bin.tar.gz -C /opt/module
mv /opt/module/apache-tez-0.9.1-bin /opt/module/tez-0.9.1

#上传至hdfs，配置文件中会用到
hadoop fs -mkdir /tez
hadoop fs -put /opt/software/apache-tez-0.9.1-bin.tar.gz/ /tez

#进入hive配置文件目录
cd /opt/module/hive/conf

#配置tez-site.xml
vim tez-site.xml
	<?xml version="1.0" encoding="UTF-8"?>
	<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
	<configuration>
    	<property>
        	<name>tez.lib.uris</name>
        	<value>${fs.defaultFS}/tez/apache-tez-0.9.1-bin.tar.gz</value>
    	</property>
    	<property>
         	<name>tez.use.cluster.hadoop-libs</name>
         	<value>true</value>
    	</property>
    	<property>
         	<name>tez.history.logging.service.class</name>        
         	<value>org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService</value>
    	</property>
	</configuration>

#配置hive-env.sh
mv hive-env.sh.template hive-env.sh
vim hive-env.sh
	# Set HADOOP_HOME to point to a specific hadoop install directory
	export HADOOP_HOME=/opt/module/hadoop-2.7.7
	# Hive Configuration Directory can be controlled by:
	export HIVE_CONF_DIR=/opt/module/hive/conf
	# Folder containing extra libraries required for hive compilation/execution can be controlled by:
	export TEZ_HOME=/opt/module/tez-0.9.1    #tez解压目录
	export TEZ_JARS=""
	for jar in `ls $TEZ_HOME |grep jar`; do
    	export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/$jar
	done
	for jar in `ls $TEZ_HOME/lib`; do
   		export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/lib/$jar
	done
	export HIVE_AUX_JARS_PATH=/opt/module/hadoop-2.7.7/share/hadoop/common/hadoop-lzo-0.4.21-SNAPSHOT.jar$TEZ_JARS

#配置计算引擎
vim hive-stie.xml
	<property>
    	<name>hive.execution.engine</name>
    	<value>tez</value>
	</property>

#启动时不报错就OK

标签：opt,module,TEZ,hive,hadoop,tez,引擎,Hive
来源： https://www.cnblogs.com/adataer/p/16364693.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

Hive集成tez引擎