ICode9
精准搜索请尝试： 精确搜索
首页
编程语言>
数据库
系统相关
互联网
其他分享
Python
Java
JavaScript
android
PHP
首页 > 系统相关> 文章详细

centos7 ambari 2.6.2.0+hdp 2.6.5.0大数据集群安装部署(企业级)

2021-05-01 12:01:24  阅读：205  来源： 互联网

标签：5.0 ambari HDP hive 企业级 centos7 2.6


本文是讲如何在centos7.4（64位） 安装ambari+hdp,如果在装有原生hadoop等集群的机器上安装，需要先将集群服务停掉，然后将不需要的环境变量注释掉即可，如果不注释掉，后面虽然可以安装成功，但是在启动某些服务的时候可能会有异常，比如最后提到的hive启动异常。本文适合系统： RedHat7、CentOS7、Oracle Linux7(都是64位)
注意:centos7中文系统有bug（python脚本中文识别问题）,需要使用英文系统。
本文仅作参考（基本每个配置博客都有局限性和坑~），推荐先参考官方文档：
https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.2.0/bk_ambari-installation/content/ch_Getting_Ready.html
以下均在root用户下执行。

希望大家可以关注下公众号，会定期分享自己从业经历、技术积累及踩坑经验，支持一下，鞠躬感谢~在这里插入图片描述

1、满足最低系统要求
软件要求（在每台主机上）

1.1 yum和rpm
1.2 scp, curl, unzip, tar、 wget
1.3 OpenSSL（v1.01，build 16或更高版本）
1.4 python：2.7(注意如果有使用python3.x的需求，不要改变python环境变量，否则3.x会报错)
1.5 jdk：openjdk 1.8
1.6 mysql：5.6（官网上写的5.6，不确定更高版本有没有问题，也可以使用其他数据库，根据自己习惯）
1.7 内存要求：Ambari主机应该至少有1 GB RAM，500 MB空闲，（但如果使用的话，建议内存8g以上，配置低的话警告也会很多）
1.8 检查最大打开文件描述符,推荐的最大打开文件描述符数为65536或更多
1.9 mysql-connector-java

2、环境准备（在每台主机上）
2.1 ssh 免密
只需master 免密到其他节点（包含自身），不需要互通

2.2 启用NTP，就是保证时间同步

2.3设置主机名
/etc/hosts

2.4 设置主机名
基于每个节点安装的组件设置主机名:
比如nn代表NameNode,rm代表ResourceManager,dn代表DataNode,nm代表NodeManager
所有主机名如下:
172.22.108.21 xnn-rm-01
172.22.108.22 xnn-rm-02
172.22.108.23 xedw-01
172.22.108.24 xedw-02
172.22.108.25 xedw-03
172.22.108.31 xdn-nm-01
172.22.108.32 xdn-nm-02
172.22.108.33 xdn-nm-03
172.22.108.34 xdn-nm-04
172.22.108.35 xdn-nm-05
172.22.108.36 xdn-nm-06
172.22.108.37 xdn-nm-07
172.22.108.38 xdn-nm-08
172.22.253.29 xambari-01

2.5 编辑网络配置文件
编辑/etc/sysconfig/network
在这里插入图片描述
2.6 禁用iptables

systemctl disable firewalld
service firewalld stop
systemctl stop iptables

2.7 禁用SELinux
2.7.1 临时禁用

setenforce 0

2.7.2 永久禁用(重启机器)
方法一:

vim /etc/sysconfig/selinux
将SELINUX改为disabled，

方法二:

在每一台机器执行sed -i ‘s/SELINUX=enforcing/SELINUX=disabled/g’/etc/sysconfig/selinux
这样服务器或虚拟机重启也没有问题。

3、制作本地源（仅在master）
因为ambari 和 hdp 安装文件比较大，如果在线安装的话会很慢，所以最好选择本地源。
（可以在集群可以访问的任何机器上制作本地源）

3.1 安装制作本地源工具
yum install yum-utils createrepo

3.2 创建一个HTTP服务器

yum install httpd -y
systemctl enable httpd && systemctl start httpd

3.3 为Web服务器创建目录
mkdir -p /neworiental/image/ambari

3.4 下载系统对应的最新版相关安装包
3.4.1 下载
其中包括Ambari、HDP、HDP-UTILS、HDP-GPL
http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.0/ambari-2.6.2.0-centos7.tar.gz
http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.5.0/HDP-2.6.5.0-centos7-rpm.tar.gz
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gz
http://public-repo-1.hortonworks.com/HDP-GPL/centos7/2.x/updates/2.6.5.0/HDP-GPL-2.6.5.0-centos7-gpl.tar.gz
下载地址见官方文档：
https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.2.0/bk_ambari-installation/content/ch_obtaining-public-repos.html

3.4.2 解压
tar -zxvf ambari-2.6.2.0-centos7.tar.gz -C /neworiental/image/ambari/
tar -zxvf HDP-2.6.5.0-centos7-rpm.tar.gz -C /neworiental/image/ambari/HDP/
tar -zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz -C /var/www/html/hdp/HDP-UTILS/
tar -zxvf HDP-GPL-2.6.5.0-centos7-gpl.tar.gz -C /neworiental/image/ambari/HDP-GPL/

3.4.3 解决在浏览器访问
访问 http://xambari-01/ambari/
在这里插入图片描述
3.5 配置ambari、HDP、HDP-UTILS的本地源

cd /etc/yum.repos.d/
http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.5.0/hdp.repo
http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.0/ambari.repo
wget下载两个yum源
将每个repo里的baseurl和gpgkey的地址修改为本地的

1.vim /etc/yum.repos.d/ambari.repo
#VERSION_NUMBER=2.6.2.0-155
[ambari-2.6.2.0]
name=ambari Version - ambari-2.6.2.0
baseurl=http://xambari-01/ambari/ambari/centos7/2.6.2.0-155
gpgcheck=1
gpgkey=http://xambari-01/ambari/ambari/centos7/2.6.2.0-155/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

2.vim /etc/yum.repos.d/hdp.repo
#VERSION_NUMBER=2.6.5.0-292
[HDP-2.6.5.0]
name=HDP Version - HDP-2.6.5.0
baseurl=http://xambari-01/ambari/HDP/centos7/2.6.5.0-292
gpgcheck=1
gpgkey=http://xambari-01/ambari/HDP/centos7/2.6.5.0-292/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-UTILS-1.1.0.22]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.22
baseurl=http://xambari-01/ambari/HDP-UTILS
gpgcheck=1
gpgkey=http://xambari-01/ambari/HDP/centos7/2.6.5.0-292/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-GPL-2.6.5.0-292]
name=HDP-GPL Version - HDP-GPL-2.6.5.0-292
baseurl=http://xambari-01/ambari/HDP-GPL/centos7/2.6.5.0-292
gpgcheck=1
gpgkey=http://xambari-01/ambari/HDP-GPL/centos7/2.6.5.0-292/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

3.使修改的yum源生效
yum clean all
yum list update
yum makecache
yum repolist

4、安装ambari（仅在xambari-01）
4.1安装ambari-server
yum install ambari-server -y

4.2 设置mysql连接器
ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar
（如果使用mysql作为hive的元数据库）

4.3 创建相关的mysql数据库
CREATE DATABASE ambari;
use ambari;
CREATE USER ‘ambari’@’%’ IDENTIFIED BY ‘ambarizk123’;
GRANT ALL PRIVILEGES ON . TO ‘ambari’@’%’;
CREATE USER ‘ambari’@‘localhost’ IDENTIFIED BY ‘ambarizk123’;
GRANT ALL PRIVILEGES ON . TO ‘ambari’@‘localhost’;
CREATE USER ‘ambari’@‘master’ IDENTIFIED BY ‘ambarizk123’;
GRANT ALL PRIVILEGES ON . TO ‘ambari’@‘master’;
FLUSH PRIVILEGES;
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
show tables;
use mysql;
select Host User Password from user where user=‘ambari’;
CREATE DATABASE hive;
use hive;
CREATE USER ‘hive’@’%’ IDENTIFIED BY ‘hive’;
GRANT ALL PRIVILEGES ON . TO ‘hive’@’%’;
CREATE USER ‘hive’@‘localhost’ IDENTIFIED BY ‘hive’;
GRANT ALL PRIVILEGES ON . TO ‘hive’@‘localhost’;
CREATE USER ‘hive’@‘master’ IDENTIFIED BY ‘hive’;
GRANT ALL PRIVILEGES ON . TO ‘hive’@‘master’;
FLUSH PRIVILEGES;
CREATE DATABASE oozie;
use oozie;
CREATE USER ‘oozie’@’%’ IDENTIFIED BY ‘oozie’;
GRANT ALL PRIVILEGES ON . TO ‘oozie’@’%’;
CREATE USER ‘oozie’@‘localhost’ IDENTIFIED BY ‘oozie’;
GRANT ALL PRIVILEGES ON . TO ‘oozie’@‘localhost’;
CREATE USER ‘oozie’@‘master’ IDENTIFIED BY ‘oozie’;
GRANT ALL PRIVILEGES ON . TO ‘oozie’@‘master’;
FLUSH PRIVILEGES;

4.4 配置ambari-server
4.4.1 SETUP
ambari-server setup

4.4.2 配置流程
以下为全部的配置过程，其中主要是自定义jdk,输入JAVA_HOME路径，自定义数据库选mysql，输入数据库用户名，密码等

4.4.3将AMBARI数据库脚本导入到数据库
mysql -uambari -p
enter passwd:
use ambari;
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

4.4.4 启动AMBARI
ambari-server start

4.4.5 启动成功，可以通过如下地址访问：
http://hostname:8080

5、使用ambari浏览器界面安装hadoop,hive等组件
5.1 登录到ambari管理界面
http://hostname:8080

5.2 安装hdp集群，点击Launch Install Wizard
在这里插入图片描述
5.2 安装hdp集群，点击Launch Install Wizard
在这里插入图片描述
5.3，设置集群名称

在这里插入图片描述
5.4 配置本地源
其中HDP-GPL较小,用默认的即可
在这里插入图片描述
5.5 设置host

其中下面的为master上ssh的私钥（~/.ssh/id_rsa）

在这里插入图片描述
5.6 Host确认

如果失败或者卡住不动可根据日志解决，如果warn根据提示信息解决，直到全部为Success才可以进行下一步。
注：我一般根据/var/log/ambari-server/ambari-server.log 查看ambari的日志，根据里面的异常解决问题，如果没有异常，再查看ambari的其他日志文件。
在这里插入图片描述
5.7 选择要安装的服务

如果有依赖其他组件选择ok即可，如安装hive依赖tez，pig等
在这里插入图片描述
5.8 设置各个服务Master
在这里插入图片描述
5.9 设置Slaves 和 Clients在这里插入图片描述
5.10 自定义配置
其中红色的必须要改，大致是设置路径，密码等，如hive要设置hive元数据的数据库信息，我用的master上的mysql
在这里插入图片描述
测试一下连接在这里插入图片描述
没有了红色的即可进行下一步，如遇到warn，可根据提示信息进行修改配置，也可以忽略警告，等装完以后再改。

5.11 review前面的配置
在这里插入图片描述
5.12 安装、启动、测试
在这里插入图片描述
5.13 安装完成
若最后出现警告，可以装完重启所有服务，再检查看看有没有问题，如有警告或启动失败，可根据日志排查原因，一开始安装的的组件较多的话，出现警告的可能性会大一些，所以可以先装几个必要的组件，之后一个一个组件装。

在这里插入图片描述
6、HA配置
6.1 NameNode HA配置
在这里插入图片描述
Service Actions有个HA的配置选项
接下来就是按照提示在指定机器上执行对应的命令

6.1.1 让NAMENODE处于安全模式,并创建CHECKPOINT
sudo su hdfs -l -c ‘hdfs dfsadmin -safemode enter’
sudo su hdfs -l -c ‘hdfs dfsadmin -saveNamespace’

在这里插入图片描述
6.1.2 配置组件并初始化JOURNALNODE
在这里插入图片描述
在这里插入图片描述
6.1.3 初始化NAMENODE元数据
注意:
先在NAMENODE ACTIVE节点执行:
SUDO SU HDFS -L -C 'HDFS ZKFC -FORMATZK
然后在NAMENODE STANDBY节点执行:
SUDO SU HDFS -L -C 'HDFS NAMENODE -BOOTSTRAPSTANDBY

在这里插入图片描述
在这里插入图片描述
NameNode HA配置完成

6.1 YARN HA配置
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
YARN配置完成

标签：5.0,ambari,HDP,hive,企业级,centos7,2.6
来源： https://blog.csdn.net/qq_39437513/article/details/116327657

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

关于我们 | 联系我们 | 留言反馈

专注分享技术，共同学习，共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有