Hadoop伪分布式环境搭建

2019-06-11 19:49:37 阅读：210 来源： 互联网

标签：hadoop Hadoop ssh node1 HOME 分布式 root dsa 搭建

前期准备

必须得准备好jdk，且配置好环境变量（点击查看jdk的安装与配置）。

设置sshd免密钥登录

1.执行命令，生成密钥：

[root@node1 .ssh]# ssh-keygen -t dsa -P '' -f /root/.ssh/id_dsa
Generating public/private dsa key pair.
Your identification has been saved in /root/.ssh/id_dsa.
Your public key has been saved in /root/.ssh/id_dsa.pub.
The key fingerprint is:
9f:fa:28:73:cd:32:df:af:51:be:d3:c7:c7:46:f0:e8 root@node1
The key's randomart image is:
+--[ DSA 1024]----+
|                 |
|                 |
|                 |
|              .  |
|        S     .+ |
|         . . o. o|
|         oo ...= |
|      o +oo. .E.B|
|       +o=o ooooo|
+-----------------+

2.把公钥放到访问方的认证文件里：

[root@node1 .ssh]# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

3.验证是否成功：

[root@node1 .ssh]# ssh root@localhost
The authenticity of host 'localhost (::1)' can't be established.
RSA key fingerprint is 49:bb:a4:25:d4:30:d9:4f:98:57:f5:e7:c5:6a:13:a2.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'localhost' (RSA) to the list of known hosts.
Last login: Tue Jun 11 23:39:38 2019 from 192.168.16.1
[root@node1 ~]#

解压hadoop-2.5.2.tar.gz

使用tar命令解压：

[root@node1 ~]# tar -xf hadoop-2.6.5.tar.gz

把部署包移动到指定目录下：

[root@node1 ~]# mv hadoop-2.6.5 /opt/software/

配置hadoop的环境变量

配置~/.bash_profile文件：

export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64
export HADOOP_HOME=/opt/software/hadoop-2.6.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

别忘了要重新读取一下配置文件：

[root@node1 hadoop-2.6.5]# source ~/.bash_profile

修改/opt/software/hadoop-2.6.5/etc/hadoop目录下的配置文件：
首先配置 “hadoop-env.sh” 文件：

#第25行内容修改如下
export JAVA_HOME=/usr/java/default

修改core-site.xml：
复制以下内容到标签之间

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://node1:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/software/hadoop/local</value>
</property>

修改hdfs-site.xml：
复制以下内容到标签之间

	<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>node1:50090</value>
    </property>

修改slaves ：

#localhost改为主机名
node1

格式化HDFS:

[root@node1 hadoop]# hdfs namenode -format

启动：

start-dfs.sh

验证几个角色是否都启动成功了：

[root@node1 sbin]# jps
2805 Jps
2678 SecondaryNameNode
2422 NameNode
2505 DataNode

通过jps可以看到每个角色都正常启动了，这里我们只需要在火狐浏览器输入node1:50070验证即可：
在这里插入图片描述
可能有的时候我们的几个角色不能成功启动，这里我们要注意一下log信息，如：

#上面省略了一大堆...
starting namenode, logging to /opt/software/hadoop-2.6.5/logs/hadoop-root-namenode-node1.out

只需要到对应的目录中查看日志文件，分析原因即可。

用到的资源

链接：https://pan.baidu.com/s/1mSJK3V7sqNdYk-C7wSV2pg
提取码：r64f

标签：hadoop,Hadoop,ssh,node1,HOME,分布式,root,dsa,搭建
来源： https://blog.csdn.net/qq_36299025/article/details/91455020

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9