首页 > 其他分享> 文章详细

hadoop安装

2021-09-20 11:05:26 阅读：153 来源： 互联网

标签：xml 安装 soft hadoop site usr local

1、关闭防火墙所有节点
service iptables stop
chkconfig iptables off

2、设置免密钥

在master中生成密钥文件
ssh-keygen -t rsa
一直回车

将密钥文件同步到所有节点
ssh-copy-id master
ssh-copy-id node1
ssh-copy-id node2

3、上传hadoop安装包上传到msater的/usr/local/moudle/
hadoop-2.7.6.tar.gz

4、解压
tar -xvf hadoop-2.7.6.tar.gz -C /usr/local/soft/

5、配置环境变量

vim /etc/profile

增加hadoop环境变量，将bin和sbin都配置到PATh中
export JAVA_HOME=/usr/local/soft/jdk1.8.0_171
export HADOOP_HOME=/usr/local/soft/hadoop-2.7.6
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

6、修改配置文件
hadoop 配置文件在/usr/local/soft/hadoop-2.7.6/etc/hadoop/

cd /usr/local/soft/hadoop-2.7.6/etc/hadoop/

6.1、slaves ：从节点列表（datanode）
vim slaves
增加node1, node2

6.2、hadoop-env.sh ： Hadoop 环境配置文件
vim hadoop-env.sh
修改JAVA_HOME
export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

6.3、core-site.xml ： hadoop核心配置文件
vim core-site.xml
在configuration中间增加以下内容

  <property>
  <name>fs.defaultFS</name>
  <value>hdfs://master:9000</value>
  </property>

  <property>
  <name>hadoop.tmp.dir</name>
  <value>/usr/local/soft/hadoop-2.7.6/tmp</value>
  </property>

  <property>
  <name>fs.trash.interval</name>
  <value>1440</value>
  </property>

6.4、hdfs-site.xml ： hdfs配置文件

vim hdfs-site.xml

在configuration中间增加以下内容

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

6.5、yarn-site.xml： yarn配置文件

vim yarn-site.xml

在configuration中间增加以下内容

<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

<property>  
<name>yarn.nodemanager.resource.memory-mb</name>  
<value>20480</value>  
</property>  

<property>  
<name>yarn.scheduler.minimum-allocation-mb</name>  
<value>2048</value>  
</property>  

<property>  
<name>yarn.nodemanager.vmem-pmem-ratio</name>  
<value>2.1</value>  
</property>

6.6、mapred-site.xml： mapreduce配置文件

重命名
--mv mapred-site.xml.template mapred-site.xml
cp mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

在configuration中间增加以下内容

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<property>  
<name>mapreduce.jobhistory.address</name>  
<value>master:10020</value>  
</property>  

<property>  
<name>mapreduce.jobhistory.webapp.address</name>  
<value>master:19888</value>  
</property>

7、将hadoop安装文件同步到子节点
scp -r /usr/local/soft/hadoop-2.7.6/ node1:/usr/local/soft/
scp -r /usr/local/soft/hadoop-2.7.6/ node2:/usr/local/soft/
scp -r /etc/profile node1:/etc/profile
scp -r /etc/profile node2:/etc/profile

8、格式化namenode

在master格式化

hdfs namenode -format

9、启动hadoop

start-all.sh

10、访问hdfs页面验证是否安装成功

http://master:50070 或者使用jps命令查看

如果安装失败
stop-all.sh
再次重启的时候
1需要手动将每个节点的tmp目录删除: 所有节点都要删除
rm -rf /usr/local/soft/hadoop-2.7.6/tmp
然后执行将namenode格式化
2在主节点执行命令:
hdfs namenode -format
3启动hadoop
start-all.sh

标签：xml,安装,soft,hadoop,site,usr,local
来源： https://www.cnblogs.com/yuzhongwen/p/15313849.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

hadoop安装