Hive —— 入门

2022-07-11 16:38:47 阅读：162 来源： 互联网

Hive —— 入门

Hive介绍

Apache Hive是一款建立在Hadoop之上的开源数据仓库系统，可以将存储在Hadoop文件中的结构化、半结构化数据文件映射为一张数据库表，基于表提供了一种类似SQL的查询模型，称为Hive查询语言（ HQL），用于访问和分析存储在Hadoop文件中的大型数据集。
Hive核心是将HQL转换为MapReduce程序，然后将程序提交Hadoop群集执行。
Hive由Facebook实现并开源。

总的来说，Hive利用HDFS来存储数据，利用MapReduce分析数据，语言方面只需要使用HQL

Hive的架构组件

用户接口

包括command-line interface命令行接口和Hive Web interface直接访问和 JDBC/ODBC等标准协议结合Thrift服务器交互。

元数据存储

通常是存储在关系数据库中，如mysql、derby（Hive自带）中。

驱动程序

包括语法解析器、计划编译器、优化器、执行器

执行引擎

Hive本身不处理数据，而是通过执行引擎处理数据，其支持MapReduce、Tez、Spark三种引擎。

Hive的安装部署

安装模式	内嵌	本地	远程
Metastore是否需要单独配置启动	否	否	是
Metadata的存储介质	Derby	Mysql	Mysql

这里仅介绍远程部署

机器版本：Centos7

安装前提：集群时间同步、防火墙关闭、主机host映射、免密登陆、Java环境、hadoop集群健康可用

1 安装Mysql

mysql在远程安装，需要注意的是要进行远程访问授权

# 这里使用mysql的子版本mariadb，效果和mysql一样
## 1 移除mariadb
yum remove -y `rpm -aq mariadb*`
### 移除目录
rm -rf /etc/my.cnf
rm -rf /var/lib/mysql 
### 检查
rpm -aq mariadb*

## 2 安装
yum install mariadb* -y

## 3 设置开机自启
systemctl enable mariadb.service

## 4 其他
### 查看状态
systemctl status  mariadb
### 启动
systemctl start mariadb.service
### 重启
systemctl restart mariadb.service
### 停止
systemctl start mariadb.service

# 进行远程访问授权
## 1 添加新用户，这里举例为 root 123456
use mysql;
update user set password=password("123456") where user='root';

## 2 授权，这里的%也可以替换为你想要进行授权的ip
grant all privileges on *.* to root@'%' identified by '123456' with grant option;

## 3 刷新
flush privileges;

2 安装Hive

## 解压
tar -xzvf apache-hive-3.1.3-bin.tar.gz -C /你想要/安装的/路径

## 使用hadoop中的guava替换hive中的guava
rm -rf apache-hive-3.1.3-bin/lib/guava-19.0.jar
cp hadoop-3.2.2/share/hadoop/common/lib/guava-27.0-jre.jar apache-hive-3.1.3-bin/lib/

3 修改配置文件

修改hadoop中的配置文件：

# 修改core-site.xml文件
vim hadoop-3.2.2/etc/hadoop/core-site.xml

        <property>
                <name>hadoop.proxyuser.root.hosts</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.groups</name>
                <value>*</value>
        </property>

修改hive中的配置文件

# 修改 hive-env.sh
cd apache-hive-3.1.3-bin/conf/
cp hive-env.sh.template hive-env.sh
vim hive-env.sh

## 根据你的路径编写
# Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME=/home/sjj/install/hadoop-3.2.2

# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/home/sjj/install/apache-hive-3.1.3-bin/conf

# Folder containing extra libraries required for hive compilation/execution can be controlled by:
export HIVE_AUX_JARS_PATH=/home/sjj/install/apache-hive-3.1.3-bin/lib

# 修改 hive-site.xml
vim hite-site.xml

<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://机器ip:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
    <description>MySQL连接协议 </description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.cj.jdbc.Driver</value>
    <description>JDBC连接驱动</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    <description>用户名</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
    <description>密码</description> 
  </property>  
  <property>
    <name>hive.server2.thrift.bind.host</name>
    <value>机器ip</value>
    <description>H2S绑定host</description>
  </property>
  <property>
    <name>hive.metastore.uris</name>
    <value>thrift://机器ip:9083</value>
    <description>远程模式部署metastore地址</description>
  </property>
  <property>
    <name>hive.metastore.event.db.notification.api.auth</name>
    <value>false</value>
    <description>关闭元数据存储权限</description>
  </property>
  <property>
    <name>hive.metastore.local</name>  
    <value>false</value>  
  </property>
</configuration>

然后上传mysql驱动jar包到hive的lib包下

mysql驱动下载地址

## 初始化元数据
cd apache-hive-3.1.3-bin
bin/schematool -initSchema -dbType mysql -verbos

## 出现下面的显示说明成功了
Initialization script completed
schemaTool completed
## 创建成功的hive数据库中有74张表

启动hive

前台启动（方便排错）：

apache-hive-3.1.3-bin/bin/hive --service metastore --hiveconf hive.root.logger=DEBUG,console

后台启动：

# 输出日志信息在./nohup.out
nohup apache-hive-3.1.3-bin/bin/hive --service metastore &

Hive的客户端使用

# 先启动metastore，再启动hiveserver2
nohup apache-hive-3.1.3-bin/bin/hive --service metastore &
nohup apache-hive-3.1.3-bin/bin/hive --service hiveserver2 &

使用hive

apache-hive-3.1.3-bin/bin/hive

使用BeeLine

apache-hive-3.1.3-bin/bin/beeline

# 连接
beeline> ! connect jdbc:hive2://机器ip:port
# 使用root用户
Enter username for jdbc:hive2://机器ip:port: root

使用可视化客户端

可以使用DataGrip（JB家的，没话说）、DBeaver（推荐，嘎嘎好用还免费，就是下载驱动可能要kx上网）、SQuirrel、SQL Client等。有兴趣的可以在网络上检索自行学习。

标签：bin,入门,##,hive,Hive,3.1,apache
来源： https://www.cnblogs.com/S2Jgogo/p/16466832.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

Hive —— 入门

Hive —— 入门

Hive介绍

Hive的架构组件

Hive的安装部署

1 安装Mysql

2 安装Hive

3 修改配置文件

启动hive

Hive的客户端使用

使用hive

使用BeeLine

使用可视化客户端