MapReduce运行日志通过Shell脚本聚合统一查看

2019-07-23 14:03:18 阅读：246 来源： 互联网

标签：运行日志 Shell 查看 MapReduce yarn application MR 日志 ID

MapReduce运行日志会在hadoop 安装目录logs/下的userlogs文件夹下，在不同的节点上有自己的jobid号的文件夹日志

查看MR任务报告：
命令：yarn application -status application_ID
查看mapreduce log日志：
命令：yarn logs -applicationId application_ID > log.txt
查看日志也可以通过网页的客户端进入查看

MR任务报告可以看到 application_ID job_ID
在这里插入图片描述

写个Shell脚本可以做到将每个slave节点的MR运行日志拉取过来通过grep过滤查看到我们想要的MR任务的日志不用再去找到那个节点再去节点上执行查看命令了。

-----------------------------------------分割线---------------------------------------------------

1.首先关闭MR的日志聚合功能

修改yarn-site.xml 关闭日志聚合
<property>
<name>yarn.log-aggregation-enable</name>
<value>false</value>
</property>

2.创建脚本 scanLogShell.sh

if [ $# -le 0 ]
then
    echo 缺少参数
    exit 1
fi

logtype=out

if [ $# -ge 1 ]
then
    logtype=${2}
fi 

for n in `cat /opt/install/hadoop-2.5.2/etc/hadoop/slaves`
do
    echo ===========查看节点 $n============
    ssh $n "cat ~/logs/yarn/userlogs/${1}/container_*/*${logtype}|grep com.dingyufei"
done

3.修改脚本权限，运行脚本

chmod +x scanLogShell.sh

./scanLogShell.sh application_1558968514803_0001

4.大功告成~

标签：运行日志,Shell,查看,MapReduce,yarn,application,MR,日志,ID
来源： https://blog.csdn.net/dingyufei615/article/details/96986528

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

MapReduce运行日志通过Shell脚本聚合统一查看