标签：文件 配置 hadoop dfs Hadoop3.1 修改 分布 Tips
ref：
Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)
Tips：
在配置伪分布式Hadoop前，需要创建hadoop用户、安装java环境等，详情可以参考上述厦大的教程或者单机Hadoop2.6.5的安装与使用
下载安装Hadoop3.1.4
Hadoop3.1.4伪分布配置
修改配置文件 core-site.xml
Tips：使用管理员权限修改改文件，否则无法保存
修改后的结果如下：
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
修改hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
执行 NameNode 格式化
Tips：若直接使用./bin/hdfs namenode -format可能会出现 permission denied的报错，在前面加上sudo即可
返回以下结果代表成功：
如果在这一步时提示 Error: JAVA_HOME is not set and could not be found. 的错误，则查看/usr/local/hadoop/etc/hadoop/hadoop-env.sh文件
并在文件中加入以下语句（jdk版本需根据自己安装的版本定义）
开启 NameNode 和 DataNode 守护进程
Tips:若运行时出现以下报错，则是log文件权限不够，修改文件权限即可
修改文件权限：
修改后即可成功启动
若修改文件权限后出现localhost: ERROR: Cannot set priority of datanode process xxxx错误，则需要修改.bashrc文件中的配置或者将/bin/hdfs里的文件修改
具体修改内容可以查看
或
https://blog.csdn.net/qq_37494825/article/details/90232203
若出现如下SSH提示，输入yes即可
启动后，可以使用jps检验是否成功启动
hadoop的运行实例也可以参考http://dblab.xmu.edu.cn/blog/2441-2/，即博文最上方的链接
个人运行结果：
Tips：如果在运行过程中出现No such file or directory的报错，只需要在input或output前加上/user/hadoop即可
标签：文件,配置,hadoop,dfs,Hadoop3.1,修改,分布,Tips 来源： https://blog.csdn.net/weixin_45839504/article/details/115162855
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。