标签：Hadoop hadoop etc slave2 分布式 root scp 搭建
学习目标：
1.理解Hadoop分布式体系架构；
2.理解Hadoop配置文件参数的含义；
3.学会逐一启动Hadoop和统一启动Hadoop；
4.学会在HDFS中上传文件。
学习内容：
1.能搭建出分布式的hadoop平台，master和slave的进程正常启动;
2.能创建和管理HDFS文件；
3.能运行测试mapreduce程序。
学习时间：
1、 周一至周五晚上 7 点—晚上9点
2、 周六上午 9 点-上午 11 点
3、 周日下午 3 点-下午 6 点
学习产出：
大家好呀！我是honey,我又又又来啦！今天我想和大家一起学习一下搭建Hadoop完全分布式。同样还是在大数据云创平台上搭建哟！
1.配置Hadoop安装环境
1.1修改host文件 vi /etc/hosts 下面的IP地址是你自己的IP地址哟！
1.2将hosts文件scp 到slave1和slave2
scp /etc/hosts root@slave1:/etc/hosts
scp /etc/hosts root@slave2:/etc/hosts
1.3配置免密
在master slave1 和 slave2 上分别执行 ssh localhost
在master生成公钥 cd ~/.ssh ssh-keygen -t rsa
将公钥scp拷贝到master，salve1和slave2
scp id_rsa.pub root@master:/root/.ssh/authorized_keys
scp id_rsa.pub root@slave1:/root/.ssh/authorized_keys
scp id_rsa.pub root@slave2:/root/.ssh/authorized_keys
然后在master 上ssh到slave1、slave2看是否需要密码 记得测试完了要记得exit退出一下
2.修改Hadoop的配置文件
修改配置文件其实和前面我们搭建伪分布式时差不多的，只不过完全分布式要多修改几个文件了就让honey偷偷懒吧！我这里就只说修改哪几个文件哈。
core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml（修改这个文件的时候由于原本的文件是 mapred-site.xml.template，这样多了个后缀会访问不到所以我们要把 mapred-site.xml.template 复制成mapred-site.xml）
slaves文件
hadoop_evn.sh（这个和伪分布式修改的列容一样）
好了假设我们前面几个文件都修改完了并且没有错误，我们又继续进行下一步操作吧
将master上的配置文件，scp到slave1和slave2
scp -r /usr/cstor/hadoop/etc/hadoop/ root@slave1:/usr/cstor/hadoop/etc/
scp -r /usr/cstor/hadoop/etc/hadoop/ root@slave2:/usr/cstor/hadoop/etc/
3.格式化namenode
./bin/hdfs namenode -format
如果·你在格式化namenode的时候出现了错误一定要记得回去检查你的配置文件有没有出错呢！
大伙一定要细心一定哟！在修改配置文件的时候不要像我一样，我老粗心了，回去改配置文件改了半天。
4.启动Hadoop集群
./sbin/start-all.sh
你也可以一个一个的启动。
5.查看启动后的结果、
标签：Hadoop,hadoop,etc,slave2,分布式,root,scp,搭建 来源： https://blog.csdn.net/m0_61601582/article/details/120830282
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。