首页 > 系统相关> 文章详细

基于Centos7安装Ambari+HDP，学习的记录！

2021-04-22 20:29:39 阅读：283 来源： 互联网

标签：centos7 ambari tar hdp HDP Centos7 yum Ambari

Ambari简介

1.Ambari基本介绍

Ambari是是 Apache Software Foundation
中的一个项目，并且是顶级项目，是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控
Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeeper、Sqoop和Hcatalog等。支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。
官方链接：Ambari官网
需对hadoop生态圈的各个组件以及环境配置，参数有一定的知识，才建议使用ambari搭建

2.Ambari安装准备工作

2.1虚拟机准备工作

安装好 Centos 7.2, jdk-8u91, mysql5.7.13
准备好ambari-2.7.4.0-centos7.tar.gz，HDP-3.1.4.0-centos7-rpm.tar.gz，HDP-GPL-3.1.4.0-centos7-gpl.tar.gz，HDP-UTILS-1.1.0.22-centos7.tar.gz相关安装包
主节点：master(92.168.238.1)
从节点：node1(192.168.238.2)，node2(192.168.238.3)
确保所有节点时间同步；
确保所有节点(master,node1,node2)能互相通信以及能访问外网

2.1.1 资源下载

镜像	下载地址
jdk-8u162-linux-x64	https://download.csdn.net/download/qq_44697847/16840098
mysql	https://www.mysql.com/downloads/
ambari-2.7.4.0-centos7.tar.gz	https://download.csdn.net/download/qq_44697847/16845882
HDP-3.1.4.0-centos7-rpm.tar.gz	https://download.csdn.net/download/qq_44697847/16846206
HDP-GPL-3.1.4.0-centos7-gpl.tar.gz	https://download.csdn.net/download/qq_44697847/16846358
HDP-UTILS-1.1.0.22-centos7.tar.gz	https://download.csdn.net/download/qq_44697847/16846735
Vmware	https://www.vmware.com
xshell+xfdp	https://download.csdn.net/download/qq_44697847/16839001
CentOS-7-x86_64	https://download.csdn.net/download/qq_44697847/16838216

2.1.2 虚拟机安装

主机	名称	系统	IP地址	内存	磁盘
Centos1	Master	Centos7	192.168.238.1(NAT)	4G	60G
Centos2	Node1	Centos7	192.168.238.2(NAT)	2G	60G
Centos3	Node2	Centos7	192.168.238.3(NAT)	2G	60G

2.1.3 修改节点主机名字

hostnamectl set-hostname master  #master节点-192.168.238.1
hostnamectl set-hostname node1   #node1节点-192.168.238.2
hostnamectl set-hostname node2   #node2节点-192.168.238.3

2.1.4配置主机名到IP的映射关系

需要在master node1 node2 三个节点上的hosts文件上都进行以下操作！

vi /etc/hosts
#添加上以下内容
192.168.238.1  master
192.168.238.2  node1
192.168.238.3  node2

2.1.5防火墙配置

在后续的操作中，需要将防火墙关闭。所有节点都需要进行以下操作

systemctl status firewalld   #查看firewall服务状态
```![查看防火墙状态](https://www.icode9.com/i/ll/?i=20210422201827621.png?,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0Njk3ODQ3,size_16,color_FFFFFF,t_70#pic_center)
```shell
systemctl stop firewalld && systemctl disable firewalld   # 关闭防火墙

关闭防火墙

2.1.6关闭selinux

# 关闭selinux
setenforce 0
vi /etc/selinux/config
SELINUX=disabled

2.2JDK安装

2.1.1JDK安装(当前安装全部在master节点上)

现将JDK包放到相应目录下之后解压/etc/lib/jvm下面

 #保证当前目录下存在 jdk-8u162-linux-x64.tar.gz
 mkdir -p /usr/lib/jvm
 tar -zxvf jdk-8u162-linux-x64.tar.gz  -C /usr/lib/jvm

# 配置环境变量
vi /etc/profile
export JAVA_HOME=/opt/jdk1.8.0_171/
export PATH=$PATH:$JAVA_HOME/bin

#刷新环境变量
source /ect/profile

2.1.2配置免密登录(所有节点)

# master
ssh-keygen
ssh-copy-id hdp-1
ssh-copy-id hdp-2
ssh-copy-id hdp-3

# node1
ssh-keygen
ssh-copy-id hdp-1
ssh-copy-id hdp-2
ssh-copy-id hdp-3

# node2
ssh-keygen
ssh-copy-id hdp-1
ssh-copy-id hdp-2
ssh-copy-id hdp-3

2.1.3将master配置好的jdk发送到node1 node2上面

**注意：**需要提前在node1 ，node2上创建jvm文件夹，保证 /usr/lib/jvm/路径存在

也可以手动在node1 node2两个节点上重复以上步骤安装jdk

scp -r /usr/lib/jvm/  node1:/usr/lib/jvm/
scp -r /usr/lib/jvm/  node2:/usr/lib/jvm/
scp  /etc/profile/ node1:/usr/lib/jvm/
scp  /etc/profile/ node2:/usr/lib/jvm/

最后不要忘记在node1 node2上执行下列代码使环境变量生效

source /ect/profile

#分别在master node1 node2上面输入java -version检查是否安装成功
java -version

2.3安装时间同步服务ntp

#安装
yum install -y ntp
#修改ntp.conf
vi /etc/ntp.conf
server 127.127.1.0
fudge 127.127.1.0 stratum 10

systemctl start ntpd
systemctl enbale ntpd
#hdp-2
yum install -y ntpdate
ntpdate hdp-1
#hdp-3
yum install -y ntpdate
ntpdate hdp-1

2.4 安装Apache Http服务器

yum install -y httpd
yum start httpd
yum enable http

2.5 关闭大页面压缩(所有节点)

echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

2.5 配置yum源（只在master配置）

在/var/www/html 下面创建 ambari，hdp，hdp_util ，hdp_gpl三个文件夹

**这里推荐使用xfdp将之恶几个文件放入到虚拟节点上面。**基于Centos7安装Ambari+HDP.md

再将 ambari-2.7.4.0-centos7.tar.gz，HDP-3.1.4.0-centos7-rpm.tar.gz，HDP-UTILS-1.1.0.22-centos7.tar.gz ,HDP-GPL-3.1.4.0-centos7-gpl.tar.gz 放入到 /var/www/html路径下

tar -zxvf ambari-2.7.0.0-centos7.tar.gz -C /var/www/html/ambari/
tar -zxvf HDP-3.0.0.0-centos7-rpm.tar.gz -C /var/www/html/hdp
tar -zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz -C /var/www/html/hdp_util/
tar -zxvf HDP-GPL-3.1.4.0-centos7-gpl.tar.gz -C /var/www/html/hdp_gpl

这里我们对yum源进行配置

cd /etc/yum.repos.d

vi ambari.repo
[ambari]
name=ambari
baseurl=http://192.168.238.1/ambari/ambari/centos7/2.7.0.0-897/
gpgcheck=0

注意文件中的baseurl是你自己电脑的实际位置，你可查看解压之后的文件位置，查看里买呢目录，这里推荐使用xfdp去查看

vi hdp.repo
[HDP-3.1]
name=HDP-3.1
baseurl=http://192.168.238.1/hdp/HDP/centos7/3.1.4.0-315/
gpgcheck=0
[HDP-UTILS-1.1.0.22]
name=HDP-UTILS-1.1.0.22
baseurl=http://192.168.238.1/hdp-utils/HDP-UTILS/centos7/1.1.0.22/
gpgcheck=0
[HDP-3.1-GPL]
name=HDP-3.1-GPL
baseurl=http://192.168.238.1/hdp-gpl/HDP-GPL/centos7/3.1.4.0-315/
gpgcheck=0

# 验证
yum repolist

成功之后将配置的yum源发送给node1与node2

#成功之后将配置的yum源发送给node1
scp /etc/yum.repos.d/ambari.repo node1:/etc/yum.repos.d/
scp /etc/yum.repos.d/hdp.repo node2:/etc/yum.repos.d/

#将配置的yum源发送给node2
scp /etc/yum.repos.d/ambari.repo node1:/etc/yum.repos.d/
scp /etc/yum.repos.d/hdp.repo node2:/etc/yum.repos.d/

浏览器输入 http://192.168.238.1/ambari/

http://192.168.238.1/ambari/

2.6 数据库安装（master上安装）

数据库使用MariaDB作为元数据储存的库，在master上安装

# 安装
yum install -y mariadb-server
# 启动 开机自启
systemctl start mariadb && systemctl enable mariadb
# 初始化
mysql_secure_installation

在初始化过程中，我们需要对数据进行配置一下是配置选项

Set root password? [Y/n] Y
Remove anonymous users? [Y/n]  Y
Disallow root login remotely? [Y/n] n
Remove test database and access to it? [Y/n] Y
Reload privilege tables now? [Y/n]  Y

3 安装配置ambari-server

yum install -y ambari-server

3.1配置数据库

#登陆
mysql -uroot -proot
# 创建amabri数据库
create database ambari;
#授权
grant all on ambari.* to ambari@'%' identified by '数据库密码';
grant all on ambari.* to ambari@localhost identified by '数据库密码';
# 使用ambari-server提供的sql脚本创建相关的表
use ambari;
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

3.2将JDBC驱动包复制到指定目录（/usr/share/java）

下载连接：java/mysql-connector-java.jar

mkdir -p /usr/share/java
mv mysql-connector-java-*.jar /usr/share/java/mysql-connector-java.jar

3.3安装ambari-server

ambari-server setup

配置信息

OK to continue [y/n] (y)? y

Customize user account for ambari-server daemon [y/n] (n)? y

Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Custom JDK
==============================================================================
Enter choice (1): 2

Enable Ambari Server to download and install GPL Licensed LZO packages [y/n] (n)? n

Enter advanced database configuration [y/n] (n)? y

Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL / MariaDB
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
[7] - BDB
==============================================================================
Enter choice (1): 3

Hostname (localhost):master

Port (3306): 3306
#后面的几个问题直接按 enter键

#启动ambari-server
ambari-server start

3.4 安装和配置ambari-agent(所有节点)

# 安装
yum install -y ambari-agent
# 配置
vi /etc/ambari-agent/conf/ambari-agent.ini 
[server]
hostname=hdp-1
#启动
amabri-agent start

3.5安装成功访问

http://192.168.238.3:8080

出现登录界面，默认管理员账户登录，账户：admin 密码：admin

ambari的安装到这就结束了，但是这只是一个安装，后续可以更具你自己的需要，来使用ambari的web页面去安装一下组件，笔记hpd ，hbase， hive等等

标签：centos7,ambari,tar,hdp,HDP,Centos7,yum,Ambari
来源： https://blog.csdn.net/qq_44697847/article/details/116030179

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9