ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

Hadoop安装部署之分发配置

2020-12-01 18:35:22  阅读:221  来源: 互联网

标签:opt 分发 rsync script 部署 pdir Hadoop lagou


一、编写集群分发脚本rsync-script

rsync 远程同步⼯具 rsync主要⽤于备份和镜像。具有速度快、避免复制相同内容和⽀持符号链接的优点。

rsync和scp区别:⽤rsync做⽂件的复制要⽐scp的速度快,rsync只对差异⽂件做更新。scp是把所有⽂ 件都复制过去。

1. 基本语法

rsync -rvl $pdir/$fname $user@$host:$pdir/$fname

命令 选项参数 要拷⻉的⽂件路径/名称 ⽬的⽤户@主机:⽬的路径/名称

2、集群上均安装上rsync

yum install -y rsync 

3、把linux110机器上的/opt/lagou/software⽬录同步到linux111服务器的root⽤户下的/opt/⽬录

 rsync -rvl /opt/lagou/software/ root@linux122:/opt/lagou/software

4、集群分发脚本编写

在/usr/local/bin这个⽬录下存放的脚本,root⽤户可以在系统任何地⽅直接执⾏。

 touch rsync-script
 vim rsync-script

5、在⽂件中编写shell代码

#!/bin/bash
#1 获取命令输⼊参数的个数,如果个数为0,直接退出命令
paramnum=$#
if((paramnum==0)); then
echo no params;
exit;
fi
#2 根据传⼊参数获取⽂件名称
p1=$1
file_name=`basename $p1`
echo fname=$file_name
#3 获取输⼊参数的绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
#4 获取⽤户名称
user=`whoami`
#5 循环执⾏rsync
for((host=110; host<113; host++)); do
echo ------------------- linux$host --------------
 rsync -rvl $pdir/$file_name $user@linux$host:$pdir
done

6、修改脚本 rsync-script 具有执⾏权限

chmod 777 rsync-script

7、调⽤脚本分发Hadoop安装⽬录到其它节点

rsync-script /opt/lagou/servers/hadoop-2.9.2

8、测试再其他集群的对应目录是否有相关文件

标签:opt,分发,rsync,script,部署,pdir,Hadoop,lagou
来源: https://www.cnblogs.com/andrew037/p/14069953.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有