ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

Hadoop安装与wordcount测试

2021-09-21 08:33:24  阅读:205  来源: 互联网

标签:hdfs LICENSE wordcount Hadoop yarn hadoop user 测试


资源准备:

hadoop-3.3.1.tar.gz

jdk-8u161-linux-x64.tar.gz

安装与环境配置:

参考这个靠谱的教程

(此教程最后的非必须的yarn配置是错的)

 

yarn的正确配置方法:

终端键入$ hadoop classpath

得到

进入文件夹/usr/local/hadoop/etc/hadoop,找到yarn-site.xml

按照如图方式配置,其中value中的值为上面hadoop classpath得到的值

再删掉mapred-site.xml文件即可完成yarn配置

开启服务

$ cd /usr/local/hadoop
$ ./sbin/start-all.sh
$ jps

得到

19409 ResourceManager
5860 SecondaryNameNode
12452 JobHistoryServer
23542 Jps
5625 DataNode
5487 NameNode
12047 NodeManager

wordcount测试

到达命令行进入cd usr/local/hadoop文件夹下开启所有服务,

$ hdfs dfs -mkdir /user
$ hdfs dfs -mkdir /user/hadoop
$ hdfs dfs -copyFromLocal LICENSE.txt /user/hadoop
$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount /user/hadoop/LICENSE.txt /user/hadoop/wordcount

上述操作步骤的含义为首先在hdfs系统中建立user块,再在里面建立hadoop块,从本地文件系统中复制LICENSE.txt到刚才创建的块里,然后启动hadoop对刚才文本里的单词计数

若成功则会显示

下面去hdfs里找我们刚才的结果文件

打开火狐浏览器,输入http://localhost:9870,点击Utilities/Browse the file system

进入user/hadoop/wordcount,找到结果文件,下载即可

在本地就可以找到结果文件了

 

标签:hdfs,LICENSE,wordcount,Hadoop,yarn,hadoop,user,测试
来源: https://www.cnblogs.com/yuxiaohan1236/p/15315909.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有