标签：dn 更改 CDH dfs datanode new home 目录 集群

1.问题梳理：

CDH集群中，数据文件位置默认在 /dfs/dn 中，这个目录所属的盘符是 /，但是 ‘/’只有50G大小，还有其他各种文件的日志什么的，空间很紧张。今天启动脚本上传文件到hive，因为空间问题一直报错。查阅了资料，需要将CDH集群 HDFS数据存储 更换目录。

通过命令查看各个盘符 占用情况

df -h

 

 我当时占用100%。必须更换数据目录。

2. 处理

1. 定位思路

先将集群停止，然后准备好新的存储目录，再将数据复制到新的目录中，重启集群。

2.处理步骤

假设HDFS的默认安装目录为“/dfs/dn”，需要移动目录到“/home/dfs_new/dn”中。

1 .登录cdh manager，停止hdfs集群

2 .在home目录下创建 dfs_new/dn 目录

cd /home
mkdir -p   /home/dfs_new/dn

3.更改目录所属的用户和组

chown -R hdfs  /home/dfs_new/dn

chgrp -R hadoop /home/dfs_new/dn

使用cdh 搭建hdfs集群的时候，默认用户为hdfs ，默认用户组为hadoop

将数据复制到目标目录：当前DataNode的目录为根目录下，和系统目录在同一目录下，随着DataNode的增长导致系统运行空间不足

cp -af /dfs/dn/* /home/dfs_new/dn

4 . 在cdh Manager管理界面，更改DataNode的配置目录

打开HDFS服务datanode配置页面，将所有datanode的数据目录配置项“dfs.datanode.data.dir”

由“/dfs/dn”修改为“/home/dfs_new/dn”。

 

 5 . 启动成功后，执行fsck检查是否复制正确。 命令样例：

hdfs fsck /

6 . fsck显示有文件丢失，则检查2是否正确，并执行相关的修复。

7 . fsck显示文件无文件丢失，HDFS没有处于安全模式，则表示数据复制成功。

8 . 删除原有数据目录“/dfs/dn”中的文件。

9 . 启动集群中剩余的服务。

10 . 再平衡

 

 原文链接：https://blog.csdn.net/qq_35356840/article/details/98947580

标签：dn,更改,CDH,dfs,datanode,new,home,目录,集群
来源： https://www.cnblogs.com/chong-zuo3322/p/16545828.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。