Hadoop3.x版本单机模式安装

2021-02-10 12:01:34 阅读：279 来源： 互联网

标签：hdfs 单机 hadoop sh USER 版本 HOME ssh Hadoop3

安装环境

VMware 虚拟机 15.5
系统镜像 centos7.8
hadoop 3.2.2

安装步骤

1、关闭防火墙
2、安装JDK1.8
3、设置环境变量

vi /ect/profile

# JDK1.8 自己的目录
JAVA_HOME=/opt/jdk1.8.0_191
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

export HADOOP_HOME=/opt/hadoop3/hadoop-3.2.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

4、修改hadoop配置文件
修改hadoop-env.sh

修改core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9001</value>
        <description>hdfs内部通讯访问地址</description>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop/tmp</value>
        <description>hadoop数据存放</description>
    </property>
</configuration>

修改hdfs-site.xml

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/hadoop/hdfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

修改start-dfs.sh和stop-dfs.sh文件，添加下列参数

#这里是添加用户 
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

修改start-yarn.sh和stop-yarn.sh文件，添加下列参数

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

5、设置SSH免密访问本地

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

6、启动hadoop
1、格式化hadoop文件系统

hdfs namenode -format

在这里插入图片描述

2、进入sbin目录

./start-all.sh

启动成功
访问虚拟机9870端口
在这里插入图片描述
7、文件上传下载

1、创建目录

2、上传文件

3、修改windows hosts文件

4、上传完成

5、测试下载

标签：hdfs,单机,hadoop,sh,USER,版本,HOME,ssh,Hadoop3
来源： https://blog.csdn.net/Mrxianseng/article/details/113780219

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

Hadoop3.x版本 单机模式安装

安装环境

安装步骤

Hadoop3.x版本单机模式安装