1.安装 rsync远程同步工具 yum install -y rsync 2.需要在etc/hosts 中添加映射 （每台都配置） vim /etc/hosts # 添加相关hosts映射 192.168.175.51 hadoop51 192.168.175.52 hadoop52 192.168.175.53 hadoop53 3.配置ssh免密 # 在hadoop51上配置免密 rm -rf /root/.ssh
mkdir -p /root/bin cd bin vim xsyn #!/bin/bash #1. 判断参数个数 if [ $# -lt 1 ] then echo Not Enough Arguement! exit; fi #2. 遍历集群所有机器 这里注意是你自己的主机名 for host in hadoop106 hadoop107 hadoop108 do echo ==================== $host ===========
学习视频：https://www.bilibili.com/video/BV1Qp4y1n7EN?p=27 scp（secure copy）安全拷贝 （1）scp定义 scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2） （2）基本语法 scp -r $pdir/$fname $user@$host:$pd
在/usr/local/bin下创建xsync文件 #!/bin/bash#1 获取输入参数个数，如果没有参数，直接退出pcount=$#if((pcount==0)); thenecho no args;exit;fi #2 获取文件名称p1=$1fname=`basename $p1`echo fname=$fname #3 获取上级目录到绝对路径pdir=`cd -P $(dirname $p1); pwd`echo pdir
在/usr/local/bin这个目录下存放的脚本，root用户可以在系统任何地方直接执行。 在/usr/local/bin目录下创建文件rsync-script vi rsync-script #!/bin/bash #1 获取命令输入参数的个数，如果个数为0，直接退出命令 paramnum=$# if((paramnum==0)); then echo no params; exit; fi
#!/bin/sh #xsync脚本基于rsync工具，rsync 远程同步工具，主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点，它只是拷贝文件不同的部分，因而减少了网络负担。 #rsync -rvl $pdir/$fname $user@hadoop$host:$pdir #常用参数： #-r, –recursive 对子目录以递归
1.双方都需要安装 rsync远程同步工具 2.需要在etc/hosts 中添加映射 3.脚本编写 (在bin目录下创建） #!/bin/bash #1 获取输入参数个数，如果没有参数，直接退出 pcount=$# if((pcount==0)); then echo no args; exit; fi #2 获取文件名称 p1=$1 fname=`basename $p1` ech
这周完成内容： 1.添加shell脚本-xsync，实现集群间的文件复制 #!/bin/bash#1. 判断参数个数if [ $# lt 1 ]thenecho Not Enough Arguement!exit;fi #2. 遍历集群所有机器 for host in centos01 centos02 centos03doecho ==================== $host ====================#3. 遍历所有
SCP命令 （1）scp 定义 scp 可以实现服务器与服务器之间的数据拷贝。 （from server1 to server2） （2）基本语法 scp -r $pdir/$fname $user@$host:$pdir/$fname 命令 递归 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称 （3）基本示例 scp -r jdk1.8.0_291/ root@hadoop103:o
#1）/home/zxl/bin 添加至PATH #2）在上述目录下新建xsync.sh脚本 #3）脚本内容如下： #!/bin/bash #1.判断参数个数是否小于1 if [ $# -lt 1 ] then echo Not Enough Argument! exit; fi #2.遍历集群所有机器 for host in node1 node2 node3 do echo ========================= $hos
这个脚本是我在上面的视频（https://www.bilibili.com/video/BV1Qp4y1n7EN?p=28）中看到的，但是不符合我的虚拟机实际情况，我耗费了自己的晚上时间开始学习和编写这个脚本，终于调通了，放这里以备以后看。也供大家用。 #!/bin/bash # 1 判断参数个数 if [ $# -lt 1 ] then
编写集群分发脚本xsync 作用:配置所有节点的同步信息 在/usr/local/bin这个目录下存放的脚本，可以在系统任何地方直接执行 /usr/local/bin目录下 touch xsync chmod 777 xsync #!/bin/bash #获取输入参数的个数.没有参数直接退出 pcount=$# if((pcount==0));then echo no args
scp：安全拷贝 我们已经在一台虚拟机上安装了hadoop和jdk，那么需要将这台虚拟机上的hadoop和jdk拷贝到其他虚拟机上：scp -r jdk-15.0.2/ $用户名@hadoop102:/opt/module/这是"推"。或者也可以采用"拉"：scp -r $用户名@hadoop100:/opt/module/hadoop-3.1.4将文件从另一台虚拟机拉
1、集群间拷贝 1）scp（secure copy）安全拷贝 （1）scp 定义 scp 可以实现服务器与服务器之间的数据拷贝。（from server1 to server2） （2）基本语法 scp -r $pdir/$fname $user@$host:$pdi
!/bin/bash 1 获取输入参数个数，如果没有参数，直接退出 pcount=$# if((pcount==0)); then echo no args; exit; fi 2 获取要分发的文件名称 p1=$1 fname=basename $p1 echo fname=$fname 3 获取上级目录到绝对路径 pdir=cd -P $(dirname $p1); pwd echo pdir=$pdir 4 获取当前用户名
注意！！！！ 1.两个脚本都是在root用户下编写，然后还要有执行权限chmod 777 xsync/jpsall 2.这两个脚本都必须在PATH环境变量之下 xsync脚本:用于集群文件分发的脚本 前提是：需要安装rsync—>用于文件分发的软件包 yum install rsync #!/bin/sh # 获取输入参数个数，如果没有参数，直接退
一、编写集群分发脚本rsync-script rsync 远程同步⼯具 rsync主要⽤于备份和镜像。具有速度快、避免复制相同内容和⽀持符号链接的优点。 rsync和scp区别：⽤rsync做⽂件的复制要⽐scp的速度快，rsync只对差异⽂件做更新。scp是把所有⽂ 件都复制过去。 1. 基本语法 rsync -rvl $pdir
1）在/root目录下创建bin目录，并在bin目录下创建文件xsync，文件内容如下： [root@hadoop1 ~]$ mkdir bin [root@hadoop1 ~]$ cd bin/ [root@hadoop1 bin]$ vi xsync 在该文件中编写如下代码，需要安装rsync: yum install rsync #!/bin/bash #1 获取输入参数个数，如果没有参数，直接退出
#!/bin/bash #1 获取输入参数个数，如果没有参数，直接退出 pcount=$# if ((pcount==0)); then echo no args; exit; fi #2 获取文件名称 p1=$1 fname=`basename $p1` echo fname=$fname #3 获取上级目录的绝对路径 pdir=`cd -P $(dirname $p1); pwd` echo pdir=$pdir #4 获取当前
Shell–一键分发脚本----解密 制作一键分发脚本 在路径usr/local/bin目录下创建脚本名字自己定，我的是xsync #!/bin/bash #1. 判断参数个数 if [ $# -lt 1 ] then echo Not Enough Arguement! exit; fi #2. 遍历集群所有机器 for host in hadoop101 hadoop102 hadoop103
#!/bin/bash #1 获取输入参数个数，如果没有参数，直接退出 pcount=$# if((pcount==0)); then echo no args; exit; fi #2 获取文件名称 p1=$1 fname=`basename $p1` echo fname=$fname #3 获取上级目录到绝对路径 pdir=`cd -P $(dirname $p1); pwd` echo pdi
文件分发脚本 echo no args; exit; fi #2 获取文件名称 p1=$1 fname=`basename $p1` echo fname=$fname #3 获取上级目录到绝对路径 pdir=`cd -P $(dirname $p1); pwd` echo pdir=$pdir #4 获取当前用户名称 user=`whoami` #5 循环 for((host=1
shell 小工具，用于集群搭建： xsync脚本基于rsync工具，rsync 远程同步工具，主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点，它只是拷贝文件不同的部分，因而减少了网络负担。 rsync -rvl $pdir/$fname $user@hadoop$host:$pdir 常用参数： -r, –recursive 对子
