ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

第7章Hadoop的数据仓库框架-Hive

2021-10-04 23:01:20  阅读:122  来源: 互联网

标签:bin 数据仓库 Hadoop hive 7.1 Hive mysql 安装


       

目录

7.1Hive的配置与安装

7.1.1安装MySQL

        (1)安装MySQL

      (2)配置Mysql

         7.1.2安装和配置Hive 

        (1)安装hive

        (2)配置环境变量

        (3)配置hive

        (4)上传jar包

        (5)启动hive

 7.1.3远程连接虚拟机mysql

        (1)开启虚拟机mysql的远程连接

        (2)在外部开启sqlyog或者navicat连接就行了


        在Facebook Jeff团队所构建的信息平台中,最庞大的组成部分是Apache Hive。Hive是一个构建在Hadoop上的数据仓库框架,是应Facebook每天产生的海量网络数据进行管理和机器学习的需求而产生和发展的。

7.1Hive的配置与安装

        Hive有3种Metastore的配置方式,分别是内嵌模式、本地模式和远程模式。这里我们以本地模式为例,介绍Hive的配置与安装,首先,本地模式需要Mysql作为Hive Metastore的存储数据库,因此在安装Hive之前需要先安装MySQL

7.1.1安装MySQL

        (1)安装MySQL

mkdir /usr/local/mysql   #创建mysql的目录

yum -y install wget  #安装wget

wget http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm   #下载mysql安装包

rpm -ivh "包名"     #解压mysql安装包

yum -y install mysql-community-server  #安装mysql服务

systemctl restart mysqld  #重启mysql服务


以上命令在虚拟机的根目录下进行就行

        (2)配置Mysql

grep "password" /war/log/mysqld.log   #寻找mysql的初始密码,然后复制

进入mysql

mysql -u root -p   #按enter

粘贴密码

set global validate_password_policy=0;   #更改策略

set global validate_password_policy=LOW;  #降低密码强度

set global validate_password_length=6;   #设置密码长度为6位

alter user 'root'@'localhost' IDENTIFIED BY '123456';  #设置密码

exit;  #退出mysql



7.1.2安装和配置Hive 

        (1)安装hive

mkdir /usr/local/hive  #创建hive目录

拖拽文件至该文件夹

tar -zxvf apache-hive-1.2.2-bin.tar.gz   #解压安装包

rm -rf apache-hive-1.2.2-bin.tar.gz   #删除安装包

        (2)配置环境变量

vim /etc/profile  #编辑环境变量文件

添加以下代码

export HIVE_HOME=/usr/local/hive/apache-hive-1.2.2-bin

PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin  #在path中添加最后的HIVE_HOME

source /etc/profile  #生效环境变量

        (3)配置hive

进入apache-hive-1.2.2-bin/conf目录下

(1)新建文件hive-site.xml

vim  hive-site.xml  #在此文件添加下面代码

<configuration>

<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>

<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>

<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>

<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
<description>password to use against metastore database</description>
</property>

</configuration>


(2)配置hive-env.sh

cp hive-env.sh.template hive-env.sh  #复制并更改名字
修改此文件第48行的HADOOP_HOME路径





        (4)上传jar包

        将要用的jar包传送到hive的lib文件下(这个文件我回头上传到我的资源上)

        (5)启动hive

        启动一:直接在根目录下输入:hive shell

        启动二:进入hive的bin目录下输入./hiveserver2,重新启动一个客户端,在bin目录下输入:./beeline -u jdbc:hive2://localhost:10000 -n root

7.1.3远程连接虚拟机mysql

        (1)开启虚拟机mysql的远程连接

首先进入mysql 

mysql -u root -p123456

进入之后输入
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;  #开启远程连接

FLUSH PRIVILEGES #刷新

        (2)在外部开启sqlyog或者navicat连接就行了

 

标签:bin,数据仓库,Hadoop,hive,7.1,Hive,mysql,安装
来源: https://blog.csdn.net/qq_45112156/article/details/120603431

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有