ICode9
精准搜索请尝试： 精确搜索
首页
编程语言>
数据库
系统相关
互联网
其他分享
Python
Java
JavaScript
android
PHP
首页 > 其他分享> 文章详细

Zookeeper实现Hadoop的高可用集群搭建

2022-01-03 18:03:21  阅读：231  来源： 互联网

标签：hdfs resourcemanager song Zookeeper Hadoop yarn 集群 address hadoop102


1、Hadoop HA 高可用

1.1、HDFS-HA 核心问题

1.1.1、 怎么保证三台 namenode 的数据一致

  • Fsimage:让一台 nn 生成数据,让其他机器 nn 同步
  • Edits:需要引进新的模块 JournalNode 来保证 edtis 的文件的数据一致性

1.1.2、 怎么让同时只有一台 nn 是 active，其他所有是 standby 的

  • 手动分配
  • .自动分配

1.1.3、 2nn 在 ha 架构中并不存在，定期合并 fsimage 和 edtis 的活谁来干

  • 由 standby 的 nn 来干

1.1.4、 如果 nn 真的发生了问题，怎么让其他的 nn 上位干活

  • 手动故障转移
  • 自动故障转移

1.2、HDFS-HA 集群搭建

HA 的主要目的是消除 namenode 的单点故障,需要将 hdfs 集群规划成以下模样
在这里插入图片描述

1.2.1、HDFS-HA 手动模式

1.2.1.1、环境准备

（1） 修改 IP
（2） 修改主机名及主机名和 IP 地址的映射
（3） 关闭防火墙
（4） ssh 免密登录
（5） 安装 JDK，配置环境变量等

查看详情查看之前的文章

1.2.1.2、配置 HDFS-HA 集群

1） 官方地址：http://hadoop.apache.org/
2） 在 opt 目录下创建一个 ha 文件夹

[song@hadoop102 ~]$ cd /opt 
[song@hadoop102 opt]$ sudo mkdir ha 
[song@hadoop102 opt]$ sudo chown song:song /opt/ha

3） 将/opt/module/下的 hadoop-3.1.3 拷贝到/opt/ha 目录下（记得删除 data 和 log 目录）

[song@hadoop102 opt]$ cp -r /opt/module/hadoop-3.1.3 /opt/ha/

4）配置 core-site.xml

<configuration> 
<!-- 把多个NameNode的地址组装成一个集群mycluster --> 
  <property> 
    <name>fs.defaultFS</name> 
    <value>hdfs://mycluster</value> 
  </property> 
<!-- 指定hadoop运行时产生文件的存储目录 --> 
  <property> 
    <name>hadoop.tmp.dir</name> 
    <value>/opt/ha/hadoop-3.1.3/data</value> 
  </property>
</configuration>

5）配置 hdfs-site.xml

<configuration> 
<!-- NameNode数据存储目录 --> 
  <property> 
    <name>dfs.namenode.name.dir</name> 
    <value>file://${hadoop.tmp.dir}/name</value> 
  </property> 
<!-- DataNode数据存储目录 --> 
  <property> 
    <name>dfs.datanode.data.dir</name> 
    <value>file://${hadoop.tmp.dir}/data</value> 
  </property> 
<!-- JournalNode数据存储目录 --> 
  <property> 
    <name>dfs.journalnode.edits.dir</name> 
    <value>${hadoop.tmp.dir}/jn</value> 
  </property> 
<!-- 完全分布式集群名称 --> 
  <property> 
    <name>dfs.nameservices</name> 
    <value>mycluster</value> 
  </property> 
<!-- 集群中NameNode节点都有哪些 --> 
  <property> 
    <name>dfs.ha.namenodes.mycluster</name> 
    <value>nn1,nn2,nn3</value>   </property> 
<!-- NameNode的RPC通信地址 --> 
  <property> 
    <name>dfs.namenode.rpc-address.mycluster.nn1</name> 
    <value>hadoop102:8020</value> 
  </property> 
  <property> 
    <name>dfs.namenode.rpc-address.mycluster.nn2</name> 
    <value>hadoop103:8020</value> 
  </property> 
  <property> 
    <name>dfs.namenode.rpc-address.mycluster.nn3</name> 
    <value>hadoop104:8020</value> 
  </property> 
<!-- NameNode的http通信地址 --> 
  <property> 
    <name>dfs.namenode.http-address.mycluster.nn1</name> 
    <value>hadoop102:9870</value> 
  </property> 
  <property> 
    <name>dfs.namenode.http-address.mycluster.nn2</name> 
    <value>hadoop103:9870</value> 
  </property> 
  <property> 
    <name>dfs.namenode.http-address.mycluster.nn3</name> 
    <value>hadoop104:9870</value> 
  </property> 
<!-- 指定NameNode元数据在JournalNode上的存放位置 --> 
  <property> 
<name>dfs.namenode.shared.edits.dir</name> 
<value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value> 
  </property> 
<!-- 访问代理类：client用于确定哪个NameNode为Active --> 
  <property> 
    <name>dfs.client.failover.proxy.provider.mycluster</name>     
	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> 
  </property> 
<!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 --> 
  <property> 
    <name>dfs.ha.fencing.methods</name> 
    <value>sshfence</value> 
  </property> 
<!-- 使用隔离机制时需要ssh秘钥登录--> 
  <property> 
    <name>dfs.ha.fencing.ssh.private-key-files</name> 
    <value>/home/atguigu/.ssh/id_rsa</value> 
  </property> 
</configuration>

6）分发配置好的 hadoop 环境到其他节点

1.2.1.3、启动 HDFS-HA 集群

1）将 HADOOP_HOME 环境变量更改到 HA 目录(三台机器)

[song@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh

将 HADOOP_HOME 部分改为如下

#HADOOP_HOME 
export HADOOP_HOME=/opt/ha/hadoop-3.1.3 
export PATH=$PATH:$HADOOP_HOME/bin 
export PATH=$PATH:$HADOOP_HOME/sbin

去三台机器上 source 环境变量

[song@hadoop102 ~]$source /etc/profile 
[song@hadoop103 ~]$source /etc/profile 
[song@hadoop104 ~]$source /etc/profile

2）在各个 JournalNode 节点上，输入以下命令启动 journalnode 服务

[song@hadoop102 ~]$ hdfs --daemon start journalnode 
[song@hadoop103 ~]$ hdfs --daemon start journalnode 
[song@hadoop104 ~]$ hdfs --daemon start journalnode

3）在[nn1]上，对其进行格式化，并启动

[song@hadoop102 ~]$ hdfs namenode -format 
[song@hadoop102 ~]$ hdfs --daemon start namenode

4）在[nn2]和[nn3]上，同步 nn1 的元数据信息

[song@hadoop103 ~]$ hdfs namenode -bootstrapStandby 
song@hadoop104 ~]$ hdfs namenode -bootstrapStandby

5）启动[nn2]和[nn3]

[song@hadoop103 ~]$ hdfs --daemon start namenode
[song@hadoop104 ~]$ hdfs --daemon start namenode

6）查看web页面

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
7）在所有节点上，启动 datanode

[song@hadoop102 ~]$ hdfs --daemon start datanode
[song@hadoop103 ~]$ hdfs --daemon start datanode
[song@hadoop104 ~]$ hdfs --daemon start datanode

8）将[nn1]切换为 Active

[song@hadoop102 ~]$ hdfs haadmin -transitionToActive nn1

9）查看是否 Active

[song@hadoop102 ~]$ hdfs haadmin -getServiceState nn1

1.2.2、HDFS-HA 自动模式

1.2.2.1、HDFS-HA 自动故障转移工作机制

自动故障转移为 HDFS 部署增加了两个新组件：ZooKeeper 和 ZKFailoverController（ZKFC）进程，如图所示。ZooKeeper 是维护少量协调数据，通知客户端这些数据的改变和监视客户端故障的高可用服务。
在这里插入图片描述

1.2.2.2、HDFS-HA 自动故障转移的集群规划

在这里插入图片描述

1.2.2.3、配置 HDFS-HA 自动故障转移

1） 具体配置

（1） 在 hdfs-site.xml 中增加

<!-- 启用nn故障自动转移 --> 
<property> 
 <name>dfs.ha.automatic-failover.enabled</name> 
 <value>true</value> 
</property>

（2） 在 core-site.xml 文件中增加

<!-- 指定zkfc要连接的zkServer地址 --> 
<property> 
 <name>ha.zookeeper.quorum</name> 
 <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value> 
</property>

（3） 修改后分发配置文件

[song@hadoop102 etc]$ pwd 
/opt/ha/hadoop-3.1.3/etc 
[song@hadoop102 etc]$ xsync hadoop/

2） 启动
（1） 关闭所有 HDFS 服务：

[song@hadoop102 ~]$ stop-dfs.sh

（2） 启动 Zookeeper 集群：

[song@hadoop102 ~]$ zkServer.sh start
[song@hadoop103 ~]$ zkServer.sh start 
[song@hadoop104 ~]$ zkServer.sh start

（3） 启动 Zookeeper 以后，然后再初始化 HA 在 Zookeeper 中状态：

[song@hadoop102 ~]$ hdfs zkfc -formatZK

（4） 启动 HDFS 服务：

[song@hadoop102 ~]$ start-dfs.sh

（5） 可以去 zkCli.sh 客户端查看 Namenode 选举锁节点内容：

[zk: localhost:2181(CONNECTED) 7] get -s 
/hadoop-ha/mycluster/ActiveStandbyElectorLock 
  myclusternn2 hadoop103 >(> 
cZxid = 0x10000000b 
ctime = Tue Jul 14 17:00:13 CST 2020 mZxid = 0x10000000b 
mtime = Tue Jul 14 17:00:13 CST 2020 pZxid = 0x10000000b cversion = 0 dataVersion = 0 aclVersion = 0 
ephemeralOwner = 0x40000da2eb70000 dataLength = 33 numChildren = 0

3） 验证
（1） 将 Active NameNode 进程 kill，查看网页端三台 Namenode 的状态变化

[song@hadoop102 ~]$ kill -9 namenode的进程id

1.3、YARN-HA 配置

1.3.1、YARN-HA 工作机制

在这里插入图片描述

1.3.2、配置 YARN-HA 集群

1.3.2.1、环境准备

（1）修改 IP
（2）修改主机名及主机名和 IP 地址的映射
（3）关闭防火墙
（4）ssh 免密登录
（5）安装 JDK，配置环境变量等
（6）配置 Zookeeper 集群

1.3.2.2、规划集群

在这里插入图片描述

1.3.2.3、核心问题

  • 如果当前 active rm 挂了，其他 rm 怎么将其他 standby rm 上位核心原理跟 hdfs 一样，利用了 zk 的临时节点
  • 当前 rm 上有很多的计算程序在等待运行,其他的 rm 怎么将这些程序接手过来接着跑 rm 会将当前的所有计算程序的状态存储在 zk 中,其他 rm 上位后会去读取，然后接着跑

1.3.2.4、具体配置

（1） yarn-site.xml

<configuration> 
 
    <property> 
        <name>yarn.nodemanager.aux-services</name> 
        <value>mapreduce_shuffle</value> 
    </property> 
 
    <!-- 启用resourcemanager ha --> 
    <property> 
        <name>yarn.resourcemanager.ha.enabled</name> 
        <value>true</value> 
    </property> 
  
    <!-- 声明两台resourcemanager的地址 --> 
    <property> 
        <name>yarn.resourcemanager.cluster-id</name> 
        <value>cluster-yarn1</value> 
    </property> 
    <!--指定resourcemanager的逻辑列表--> 
    <property> 
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2,rm3</value> 
</property> 
<!-- ========== rm1的配置 ========== --> 
<!-- 指定rm1的主机名 --> 
    <property> 
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>hadoop102</value> 
</property> 
<!-- 指定rm1的web端地址 --> 
<property> 
     <name>yarn.resourcemanager.webapp.address.rm1</name> 
     <value>hadoop102:8088</value> 
</property> 
<!-- 指定rm1的内部通信地址 --> 
<property> 
     <name>yarn.resourcemanager.address.rm1</name> 
     <value>hadoop102:8032</value> 
</property> 
<!-- 指定AM向rm1申请资源的地址 --> 
<property> 

     <name>yarn.resourcemanager.scheduler.address.rm1</name>   
     <value>hadoop102:8030</value> 
</property> 
<!-- 指定供NM连接的地址 -->   
<property> 
     <name>yarn.resourcemanager.resource-tracker.address.rm1</name> 
     <value>hadoop102:8031</value> 
</property> 
<!-- ========== rm2的配置 ========== --> 
    <!-- 指定rm2的主机名 --> 
    <property> 
        <name>yarn.resourcemanager.hostname.rm2</name> 
        <value>hadoop103</value> 
</property> 
<property> 
     <name>yarn.resourcemanager.webapp.address.rm2</name> 
     <value>hadoop103:8088</value> 
</property> 
<property> 
     <name>yarn.resourcemanager.address.rm2</name> 
     <value>hadoop103:8032</value> 
</property> 
<property> 
     <name>yarn.resourcemanager.scheduler.address.rm2</name> 
     <value>hadoop103:8030</value> 
</property> 
<property> 
     <name>yarn.resourcemanager.resource-tracker.address.rm2</name> 
     <value>hadoop103:8031</value> 
</property> 
 <!-- ========== rm3的配置 ========== --> 
<!-- 指定rm1的主机名 --> 
    <property> 
        <name>yarn.resourcemanager.hostname.rm3</name>         <value>hadoop104</value> 
</property> 
<!-- 指定rm1的web端地址 --> 
<property> 
     <name>yarn.resourcemanager.webapp.address.rm3</name> 
     <value>hadoop104:8088</value> 
</property> 
<!-- 指定rm1的内部通信地址 --> 
<property> 
     <name>yarn.resourcemanager.address.rm3</name> 
     <value>hadoop104:8032</value> 
</property> 
<!-- 指定AM向rm1申请资源的地址 --> 
<property> 
     <name>yarn.resourcemanager.scheduler.address.rm3</name>   
     <value>hadoop104:8030</value> 
</property> 
<!-- 指定供NM连接的地址 -->   
<property> 
     <name>yarn.resourcemanager.resource-tracker.address.rm3</name> 
     <value>hadoop104:8031</value> 
</property> 
    <!-- 指定zookeeper集群的地址 -->  
    <property> 
        <name>yarn.resourcemanager.zk-address</name> 
        <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value> 
    </property> 
 
    <!-- 启用自动恢复 -->  
    <property> 
        <name>yarn.resourcemanager.recovery.enabled</name> 
        <value>true</value> 
    </property> 
  
    <!-- 指定resourcemanager的状态信息存储在zookeeper集群 -->  
    <property> 
        <name>yarn.resourcemanager.store.class</name>     
		<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
 </property> 
<!-- 环境变量的继承 --> 
 <property> 
        <name>yarn.nodemanager.env-whitelist</name>         
		<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE
,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
		</value> 
</property> 
 
</configuration>

（2） 同步更新其他节点的配置信息，分发配置文件

[song@hadoop102 etc]$ xsync hadoop/

1.3.2.5、启动 YARN

（1） 在 hadoop102 或者 hadoop103 中执行：

[song@hadoop102 ~]$ start-yarn.sh

（2） 查看服务状态

[song@hadoop102 ~]$ yarn rmadmin -getServiceState rm1

（3） 可以去 zkCli.sh 客户端查看 ResourceManager 选举锁节点内容：

[song@hadoop102 ~]$ zkCli.sh 
[zk: localhost:2181(CONNECTED) 16] get -s 
/yarn-leader-election/cluster-yarn1/ActiveStandbyElectorLock 
 
cluster-yarn1rm1 cZxid = 0x100000022 
ctime = Tue Jul 14 17:06:44 CST 2020 mZxid = 0x100000022 
mtime = Tue Jul 14 17:06:44 CST 2020 pZxid = 0x100000022 cversion = 0 dataVersion = 0 aclVersion = 0 
ephemeralOwner = 0x30000da33080005 dataLength = 20 numChildren = 0

（4） web 端查看 hadoop102:8088 和 hadoop103:8088 的 YARN 的状态
在这里插入图片描述

1.4、HADOOP HA 的最终规划

在这里插入图片描述
在这里插入图片描述

标签：hdfs,resourcemanager,song,Zookeeper,Hadoop,yarn,集群,address,hadoop102
来源： https://blog.csdn.net/prefect_start/article/details/122289795

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

关于我们 | 联系我们 | 留言反馈

专注分享技术，共同学习，共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有