hive on spark 关于hive的配置

2022-09-11 12:30:16 阅读：278 来源： 互联网

标签：配置 hadoop hive javax metastore spark jars

1. hive-site.xml

root@hadoop101 conf]# vi hive-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://hadoop101:3306/metastore?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root01</value>
<description>password to use against metastore database</description>
</property>

  <property>
    <name>hive.execution.engine</name>
    <value>spark</value>
    <description>
      Expects one of [mr, tez, spark].
      Chooses execution engine. Options are: mr (Map reduce, default), tez (hadoop 2 only), spark
    </description>
  </property>

  <property>
    <name>spark.yarn.jars</name>
    <value>hdfs://hadoop101:9000/user/hive/warehouse/spark_jars</value>
    <description>
      spark_jars
    </description>
  </property>

<property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
</property>
</configuration>

Yarn-site增加 

<property>
    <name>yarn.resourcemanager.address</name>
    <value>hadoop102:8032</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>hadoop102:8030</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>hadoop102:8031</value>
  </property>

cp spark-env.sh /opt/module/apache-hive-1.2.1-bin/conf/

mysql jar包放到 hive 的lib目录下

# hadoop fs -mkdir /user/hive/warehouse/spark_jars
# hadoop fs -put jars/* /user/hive/warehouse/spark_jars
# hadoop fs -rm -r /user/hive/warehouse/spark_jars

标签：配置,hadoop,hive,javax,metastore,spark,jars
来源： https://www.cnblogs.com/mengbin0546/p/16683771.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

hive on spark 关于hive的配置