ICode9

精准搜索请尝试: 精确搜索
首页 > 系统相关> 文章详细

Windows11安装Hadoop3.3.2

2022-06-08 19:02:06  阅读:284  来源: 互联网

标签:Java Windows11 hadoop Hadoop Hadoop3.3 3.3 https 安装 HADOOP


Windows11安装Hadoop3.3.2

JDK 安装

Hadoop的Java版本https://cwiki.apache.org/confluence/display/HADOOP/Hadoop+Java+Versions

>## Hadoop支持的 Java 版本
>
>- Apache Hadoop 3.3 及更高版本支持 Java 8 和 Java 11(仅限运行时)
> - 请使用 Java 8 编译 Hadoop。不支持使用 Java 11 编译 Hadoop: [HADOOP-16795](https://issues.apache.org/jira/browse/HADOOP-16795)-Java 11 编译支持**OPEN** [![img](https://issues.apache.org/jira/secure/viewavatar?size=xsmall&avatarId=21140&avatarType=issuetype)](https://issues.apache.org/jira/browse/HADOOP-16795)
>- 从 3.0.x 到 3.2.x 的 Apache Hadoop 现在仅支持 Java 8
>- 从 2.7.x 到 2.10.x 的 Apache Hadoop 支持 Java 7 和 8

所以安装jdk8来运行Hadoop

官网下载:https://www.oracle.com/java/technologies/downloads/#jre8-windows

选择Windows下的64位安装程序下载

image-20220608111046550

运行安装程序即可,不需配置环境变量

 

Hadoop 安装

下载解压

阿里云开源镜像站下载:https://mirrors.aliyun.com/apache/hadoop/core/hadoop-3.3.2/

image-20220608112050895

推荐使用下载Bandzip来解压

解压之后的目录

image-20220608112659216

Windows环境变量配置

设置->系统->系统信息

点击高级系统设置,环境变量

 

image-20220608114107782

在系统变量处新建

HADOOP_HOME

变量值为hadoop的解压目录

D:\SoftWare\hadoop-3.3.2

image-20220608114623283

 

在系统变量的Path下新建两个变量

%HADOOP_HOME%\bin
%HADOOP_HOME%\sbin

image-20220608114849574

hadoop文件配置

hadoop-env.cmd

在D:\SoftWare\hadoop-3.3.2\etc\hadoop目录下

右键编辑,Ctrl+F搜索JAVA_HOME找到set JAVA_HOME这一项,将其修改为jdk8的安装路径

set JAVA_HOME=C:\PROGRA~1\Java\jdk-8

使用PROGRA~1来代替Program Files,是其dos文件名模式下的缩写

直接使用Program Files会报错,里面包含一个空格

在命令行查看hadoop版本,没有报错说明配置成功

hadoop -version

输出信息:

PS C:\Users\Ran> hadoop -version Active code page: 65001 java version "1.8.0_333" Java(TM) SE Runtime Environment (build 1.8.0_333-b02) Java HotSpot(TM) 64-Bit Server VM (build 25.333-b02, mixed mode)

core-site.xml

<configuration>
<property>
   <name>fs.default.name</name>
 <value>hdfs://localhost:9000</value>
</property>
<property>
 <name>hadoop.tmp.dir</name>
 <value>/D:/SoftWare/hadoop-3.3.2/data/tmp</value>
</property>
</configuration>

hdfs-site.xml

<configuration>
   <property>
  <name>dfs.replication</name>
  <value>1</value>
   </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>/D:/SoftWare/hadoop-3.3.2/data/namenode</value>
   </property>
  <property>
       <name>dfs.datanode.data.dir</name>
       <value>/D:/SoftWare/hadoop-3.3.2/data/datanode</value>
   </property>
   <property>
     <name>dfs.permissions</name>
     <value>false</value>
   </property>
</configuration>

mapred-site.xml

<configuration>
<property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
  </property>
</configuration>

yarn-site.xml

<configuration>
   <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
   <property>
       <name>yarn.nodemanager.resource.memory-mb</name>
       <value>1024</value>
   </property>
   <property>
       <name>yarn.nodemanager.resource.cpu-vcores</name>
       <value>1</value>
   </property>
</configuration>

下载 winutils.exe hadoop.dll

Github:https://github.com/cdarlint/winutils

找到对应的版本,下载winutils.exe hadoop.dll,放到hadoop的bin目录下

<img src="../AppData/Roaming/Typora/typora-user-images/image-20220608174808274.png" alt="image-20220608174808274" style="zoom: 50%;" />

<img src="../AppData/Roaming/Typora/typora-user-images/image-20220608180503994.png" alt="image-20220608180503994" style="zoom: 67%;" />

启动测试

进入命令行窗口,格式化hadoop

hadoop namenode -format

输出信息中提示有==namenode has been successfully formatted==即可

 

启动hadoop,在管理员权限的命令行中输入

start-all.cmd

然后启动四个进程的cmd,启动和报错信息会在里面显示

 

使用jps命令查看,如下即为正常启动

image-20220608184236707

访问Web页面

http://localhost:9870/

 

标签:Java,Windows11,hadoop,Hadoop,Hadoop3.3,3.3,https,安装,HADOOP
来源: https://www.cnblogs.com/JFANG/p/16356796.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有