标签：space hadoop dfs datanode choosing policy 磁盘 多块
在hdfs-site.xml 配置文件按下面三个步骤添加参数。添加完同步至datanode节点。
1、数据存储磁盘参数设置多个磁盘目录
剩余磁盘空间大的在前面
<property>
<name>dfs.data.dir</name>
<value>/data1/dfs/dn,/mnt1/dfs/dn1,/mnt2/dfs/dn</value>
</property>2、datanode多存储硬盘设置数据副本存放策略
第一种是沿用hadoop1.0的磁盘目录轮询方式，实现类：RoundRobinVolumeChoosingPolicy.java
第二种是选择可用空间足够多的磁盘方式存储，实现类：AvailableSpaceVolumeChoosingPolicy.java
hdfs-site.xml的配置样例：
<property>
<name>dfs.datanode.fsdataset.volume.choosing.policy</name>
<value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>
</property>
<property>
<name>dfs.datanode.available-space-volume-choosing-policy.balanced-space-threshold</name>
<!--100G -->
<value>107374182400</value>
</property>
<property>
<name>dfs.datanode.available-space-volume-choosing-policy.balanced-space-preference-fraction</name>
<value>0.8f</value>
</property>dfs.datanode.available-space-volume-choosing-policy.balanced-space-threshold
默认值是10737418240，既10G，一般使用默认值就行，以下是该选项的官方解释：
Only used when the dfs.datanode.fsdataset.volume.choosing.policy is set to org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy. This setting controls how much DN volumes are allowed to differ in terms of bytes of free disk space before they are considered imbalanced. If the free space of all the volumes are within this range of each other, the volumes will be considered balanced and block assignments will be done on a pure round robin basis. Support multiple size unit suffix(case insensitive), as described in dfs.blocksize.
意思是首先计算出两个值，一个是所有磁盘中最大可用空间，另外一个值是所有磁盘中最小可用空间，如果这两个值相差小于该配置项指定的阀值时，则就用轮询方式的磁盘选择策略选择磁盘存储数据副本
dfs.datanode.available-space-volume-choosing-policy.balanced-space-preference-fraction
默认值是0.75f，一般使用默认值就行，以下是该选项的官方解释：
Only used when the dfs.datanode.fsdataset.volume.choosing.policy is set to org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy. This setting controls what percentage of new block allocations will be sent to volumes with more available disk space than others. This setting should be in the range 0.0 - 1.0, though in practice 0.5 - 1.0, since there should be no reason to prefer that volumes with less available disk space receive more block allocations.
意思是有多少比例的数据副本应该存储到剩余空间足够多的磁盘上。该配置项取值范围是0.0-1.0，一般取0.5-1.0，如果配置太小，会导致剩余空间足够的磁盘实际上没分配足够的数据副本，而剩余空间不足的磁盘取需要存储更多的数据副本，导致磁盘数据存储不均衡。
3、hadoop dfs.datanode.du.reserved 预留空间配置方法
(通过实践这个参数最管用，前提是在步骤1的基础上)
对于datanode配置预留空间的方法为：
在hdfs-site.xml添加如下配置（因为磁盘容量较正常值小，则预留空间值一般设置偏大）
<property>
<name>dfs.datanode.du.reserved</name>
<value>21474836480</value>
</property>dfs.datanode.du.reserved的单位为字节，预留30G：32212254720 预留20G：21474836480
标签：space,hadoop,dfs,datanode,choosing,policy,磁盘,多块 来源： https://blog.csdn.net/qq_36249352/article/details/122328044
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。