标签：daemon 20210329 每天 启动 -- hadoop yarn start 日志

继续执行写好的MapReduce程序，感觉用020304这三台比较好。

 

1.检查服务

node01

ResourceManager

NameNode 

 

node02

NodeManager

DataNode

 

node03

DataNode

没了??

 

node04

DataNode

NodeManager

 

2.Web UI查看运行情况

扫盲下yarn，yarn其实就是mapreduce把调度这部分功能分离出来了，叫yarn，mapreduce自己现在只负责计算，而且yarn还可以用来调度其他计算框架。

 

hadoop 2.6.5/web UI访问

• hadoop, node01:50070（默认包括hdfs+mapreduce）
• yarn,node01:8088(job执行情况)
• jobhistoryserver,node01:19888

 

3.单节点手动启服务

集群总会有节点，某些组件挂掉，比如node03的nodeManager就没起来，手动起了一下好了。

 

启动各组件命令总结：

hdfs启动命令：

# 启动namenode
hadoop-daemon.sh  start  namenode
# 启动datanode，这个比较常用，因为可能会出现有的datanode没有起来
hadoop-daemon.sh start datanode
# 启动secondarynamenode
hadoop-daemon.sh start secondarynamenode


启动yarn命令:

# 启动resourcemanager
yarn-daemon.sh  start resourcemanager
# 启动nodemanager
yarn-daemon.sh  start nodemanager

启动历史服务器：

#启动历史服务器,一般的历史服务是肯定需要我们手动启动的
mr-jobhistory-daemon.sh start historyserver

4.MapReduce报错解决思路
首先应该是查日志，而不是去搜索报错，因为直接显示的报错都是表面原因。

Hadoop 2.x中YARN系统的服务日志包括ResourceManager日志和各个NodeManager日志，他们的日志位置如下：

ResourceManager日志：Hadoop安装目录下的logs目录下的yarn-*-resourcemanager-*.log

NodeManager日志：各个NodeManager节点上hadoop安装目录下的logs目录下的yarn-*-nodemanager-*.log

应用程序日志包括jobhistory日志和Container日志，其中，jobhistory日志是应用程序运行日志，包括应用程序启动时间、结束时间，每个任务的启动时间、结束时间，各种counter信息等。

Container日志包含ApplicationMaster日志和普通Task日志，它们均存放在Hadoop安装目录下的userlogs目录中的application_xxx目录下，其中ApplicationMaster日志目录名称为container_xxx_000001，普通task日志目录名称则为container_xxx_000002，container_xxx_000003，….，同Hadoop 1.x一样，每个目录下包含三个日志文件：stdout、stderr和syslog，且具体含义是一样的。

后记：看了下虚拟机好多文件还停留在2019年，回想起2019年半途而废的自己。

 

标签：daemon,20210329,每天,启动,--,hadoop,yarn,start,日志
来源： https://www.cnblogs.com/gen2122/p/14594459.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。