标签：文件 10.100 swcode 传输方式 192.168 10.101 file Linux home

大数据集群经常涉及文件拷贝，我在学习大数据时总结了几种方式

三台主机：192.168.10.100、192.168.10.101、192.168.10.102有一个一样的用户：swcode

做过映射关系：

hadoop100	192.168.10.100
hadoop101	192.168.10.101
hadoop102	192.168.10.102

SCP拷贝

scp会拷贝所有指定内容

1、向192.168.10.101推送数据

scp -r /home/swcode/test.txt test1@192.168.1.101:/home/swcode

2、从192.168.10.100拉取数据

scp -r swcode@192.168.1.101:/home/swcode/test.txt /home/swcode/

3、在192.168.10.101上将192.168.10.100的数据拷贝到192.168.10.102上

scp -r swcode@192.168.1.100:/home/swcode/test.txt swcode@192.168.1.102:/home/swcode/

RSYNC同步

rsync只会复制不一样的内容

1、同步192.168.10.100和192.168.10.101的~目录

rsync -av /home/swcode/ swcode@192.168.10.101:/home/swcode

没有的可以安装

yum install -y rsync

2、分发脚本xsync，可以放到/etc/profile.d/中，全局使用（别忘了chomd执行权限）

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器，hosts内做过映射关系：hadoop102	192.168.10.102
for host in hadoop101 hadoop102
do
    echo =============== $host ===============
    #3. 遍历所有目录，挨个发送
    for file in $@
    do 
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)
                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$filename $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

标签：文件,10.100,swcode,传输方式,192.168,10.101,file,Linux,home
来源： https://www.cnblogs.com/sw-code/p/15555363.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。