背景
因CDH数据交互比较频繁,硬盘的消耗较快,硬盘正常使用3年后容易出现硬盘坏道,为了避免硬盘坏道过多导致影响业务,经在测试环境中测试更换CDH集群节点硬盘后数据块未出现丢失现象。
实施步骤(测试环境node5节点进行测试):
查找异常硬盘挂载目录
目前是望京CDH平台node9的/dev/sdb1硬盘有坏道,所挂载的目录是/dfs/dn2
Web操作该节点去掉对应目录
进入node9节点的DataNode服务的配置界面去掉/dfs/dn2目录
刷新集群(过期配置)
在刷新集群过程中dn2的数据块逐步向dn和dn1目录复制
在刷新集群过程中dn2的数据块逐步向dn和dn1目录复制
检测
在数据平衡过程中可观察到数据块丢失比例在逐步减少
检测方法:hadoop fsck /
平衡完成后数据块检测正常
研发测确认是否有数据丢失
更换硬盘,web重新增加dn2目录
更换新硬盘,重新挂载dn2目录后,dn2目录归属root权限,需调整为hdfs权限
chown hdfs.hadoop /dfs/ -R
重新刷新集群(详见2.3)
检查数据块是否有丢失
标签:CDH,集群,dn2,磁盘分区,数据,目录,硬盘 来源: https://www.cnblogs.com/zhangrui153169/p/14431800.html
本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享; 2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关; 3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关; 4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除; 5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。