标签：fs JAVA lib jdk hadoop 详解 HOME 目录

1.准备虚拟机，安装linux系统

我安装的是centos7 , 在阿里镜像下载的，

地址 http: //mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/CentOS-7-x86_64-DVD-2009.iso

历史版本目录地址 http: //mirrors.aliyun.com/centos/

【//前去掉空格】

vm 使用 16pro版本 ，

安装3个虚拟机

 

2.使用xshell远程连接虚拟机

 

3.官网下载hadoop

地址 https: //archive.apache.org/dist/hadoop/common

2.7.5版本直接下载地址
https: //archive.apache.org/dist/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz

【//前去掉空格】

4.在自己喜欢的目录将压缩包上传过去

我的:

生成目录
mkdirs /home/myhadoop 
进入该目录
cd  /home/myhadoop 
本地文件上传该目录
rz
然后选择压缩包即可上传
解压压缩包到当前目录
tar -zvxf hadoop-2.7.5.tar.gz -C 
进入解压的目录
cd hadoop-2.7.5

ls

可看到目录
bin etc include lib libexec LICENSE.txt NOTICE.txt README.txt sbin share

说明：

bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本

etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件

include目录：对外提供的编程库头文件（具体动态库和静态库在lib目录中），这些头文件均是用C++定义的，通常用于C++程序访问HDFS或者编写MapReduce程序。

lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）

sbin目录：存放启动或停止Hadoop相关服务的脚本

share目录：存放Hadoop的依赖jar包、文档、和官方案例

配置环境变量
cd /etc/profile.d
vim my_env.sh
内容如下

#HADOOP_HOME
export HADOOP_HOME=/home/myhadoop/hadoop-2.7.5
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

保存

然后执行
source my_env.sh
来生效

执行

hadoop version

如果出现

Error: JAVA_HOME is not set and could not be found.

则表示没有添加jdk的环境变量

如果是使用本地资源来安装jdk,取出jdk的安装路径，

如果是使用yum指令安装，则其默认的安装位置在

/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.322.b06-1.el7_9.x86_64

【jdk yum安装，看我这篇随笔 https: //www.cnblogs.com/c2g5201314/p/15780401.html】

我这里的使用yum的，配置模板为

#JAVA_HOME 
export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.322.b06-1.el7_9.x86_64
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jar
export PATH=$PATH:$JAVA_HOME/bin

进入配置目录
cd /etc/profile.d
创建配置文件
vim JAVA_HOME.sh
然后加入模板里的内容，如果是本地资源来安装则改掉 JAVA_HOME= 后的地址为自己的即可
保存
执行 source JAVA_HOME.sh 生效

现在再执行  hadoop version  

出现 如下表示 成功

 

 

 

其他的一些linux指令，只做备忘参考

hadoop fs -ls x  查看 HDFS 的该级的文件目录
hadoop fs -ls x -R 迭代查看 HDFS 的文件目录
hadoop fs -mkdir x 在HDFS 创建文件夹
hadoop fs -put x y  从本地上传到HDFS
hadoop fs -get x y  从HDFS下载到本地
hadoop fs -mv x y  移动文件，即剪切 
hadoop fs -rm x   删除文件，其实即使移动到回收站 
hadoop fs -rm -r x   删除文件夹
hadoop fs -cp x y   拷贝文件


Hadoop fs cat x 将文件内容输出到控制台


sz x 将linux文件下载到本地


cd   ./xxx/nb-fyzt
拷贝上一次的文件
cp ./xxx.jar  ./xxx.jar-back

//删除
rm xxx.jar

删除后再上传
rz 

运行
./run.sh restart

查看
tail -f nohup.out 

查看当前路径
pwd


ctl + s 暂停输出会卡死，点击 ctl + q 即可恢复

 

标签：fs,JAVA,lib,jdk,hadoop,详解,HOME,目录
来源： https://www.cnblogs.com/c2g5201314/p/16252972.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。