ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

2.X集群启动详解

2021-04-12 21:53:17  阅读:147  来源: 互联网

标签:bin hdfs 启动 start 详解 集群 namenode 目录 NN1


 启动ZK:
bin/zkServer.sh start
结果:在zookeeper的data目录下生成version-2文件夹,和zookeeper_server.pid文件
======================================================================================
步骤一:初始化zookeeper,在Namenode()上输入:
bin/hdfs zkfc -formatZK
#Successfully created /hadoop-ha/ns1 in ZK.#
结果:在journal目录下生成ns1目录和同时在ns1下生成 in_use.lock文件
------------------------------------------------------------------
步骤二:启动所有QJM
在所有QJM机器上:
进入Hadoop目录:
 bin/hdfs journalnode
------------------------------

 

步骤五:启动 NN1 和 NN2:
首先格式化namenode:
bin/hdfs namenode –format
结果:若第一次启动,在(namenode的tmp/dfs/name目录下生成current目录)
      若第二次启动,在(namenode的tmp/dfs/name目录下生成current目录,同时在各个journalnode下的 journal/ns1下生成current目录,同时更新in_use.lock文件)

启动NN1:
sbin/hadoop-daemon.sh start namenode
---------------------------------------------
在NN2机器上:
拉取共享文件:
bin/hdfs namenode -bootstrapStandby [-force | -nonInteractive]

结果:在(tmp/dfs/name目录下生成current目录)
启动NN2:

sbin/hadoop-daemon.sh start namenode
--------------------------------------------------------

--------------------------------------------------------
步骤七:在各个namenode机器上启动zookeeper:
sbin/hadoop-daemon.sh start zkfc
结果:在当前节点上多了一个进程:DFSZKFailoverController

------------------------------------------------------------------------------------------------
步骤六:在NN1上执行:
sbin/hadoop-daemons.sh start datanode
------------------------------------------------------------------------------------------------

启动YARN,在NN1上

sbin/start-yarn.sh
==========================================================================
在所有机器上停止Journalnode
--------------------------------------------------
人工切换
NN1 和 NN2 启动后,都处于 Standby 状态,此时均不能对外提供服务,在 NN1 节点上输入
以下命令将它切换为 active:
hdfs haadmin -failover --forcefence --forceactive <serviceId> <namenodeId>
其中,serviceId 为“dfs.nameservices”配置的命名服务,namenodeId 为 namenode ID,在此,
可以是 NN1:
bin/hdfs haadmin -failover --forcefence --forceactive ns1 nn1

 

步骤三:格式化所有机器的QJM  
需要时执行:初始化 JournalNode  
在 NN1 上,执行以下命令  
可以使用参数-force 或者 –nonInteractive 跳过交互式过程,直接强制格式化。  
bin/hdfs namenode -initializeSharedEdits [-force | -nonInteractive] 

标签:bin,hdfs,启动,start,详解,集群,namenode,目录,NN1
来源: https://blog.51cto.com/u_13347991/2702116

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有