标签：CentOS windows move nas 文件夹 Linux 挂载 7.8 txt
需求：
公司有3.4T多的小文件需要copy到公司内部的nas存储中，由于小文件太多，数据量太大，整盘copy时速度极慢；只能人工对3.4T多的数据分批次的导入，这对于搞计算机的来说是不能忍受的，于是产生了一个想法，把公司的nas存储和原始文件主机的盘都挂载到linux服务器上，系统为CentOS7，通过for循环遍历文件夹实现copy，理论存在，开始实施；
环境：
1、windows10电脑，上面有3.4T多的原始数据
2、公司内部的一套阿里nas存储
3、公司内部的CentOS系统的服务器
实施：
1、将存有原始数据的windows10文件夹共享，权限为完全控制
2、将windows10共享的文件夹挂载到CentOS主机上
vim /etc/fstab //192.168.12.171/f /move-source cifs defaults,username=web1,password=123!@ 0 0
再执行mount -a命令，将其挂载
[root@movtile_com ~]# mount -a
[root@movtile_com ~]# df -h # 通过命令可以看出共享文件夹已经挂载
文件系统 容量 已用 可用 已用% 挂载点
devtmpfs 7.8G 0 7.8G 0% /dev
tmpfs 7.8G 0 7.8G 0% /dev/shm
tmpfs 7.8G 326M 7.5G 5% /run
tmpfs 7.8G 0 7.8G 0% /sys/fs/cgroup
/dev/mapper/centos-root 472G 20G 428G 5% /
/dev/sda1 5.0G 168M 4.9G 4% /boot
/dev/sr0 4.4G 4.4G 0 100% /run/media/k8s/CentOS 7 x86_64
//192.168.12.171/f 11T 3.4T 7.6T 31% /move-source
3、将公司的nas存储目标文件夹挂载到CentOS主机上
vim /etc/fstab //192.168.8.10/elements /move cifs defaults,username=server1,password=123!@ 0 0
再执行mount -a命令，将其挂载 [root@movtile_com ~]# mount -a [root@movtile_com ~]# df -h # 通过命令可以看出共享文件夹已经挂载 文件系统 容量 已用 可用 已用% 挂载点 devtmpfs 7.8G 0 7.8G 0% /dev tmpfs 7.8G 0 7.8G 0% /dev/shm tmpfs 7.8G 326M 7.5G 5% /run tmpfs 7.8G 0 7.8G 0% /sys/fs/cgroup /dev/mapper/centos-root 472G 20G 428G 5% / /dev/sda1 5.0G 168M 4.9G 4% /boot /dev/sr0 4.4G 4.4G 0 100% /run/media/k8s/CentOS 7 x86_64 //192.168.12.171/f 11T 3.4T 7.6T 31% /move-source # windows10 原始数据 //192.168.8.10/elements 240T 16T 225T 7% /move # 公司nas文件夹
现在可以看到windows10的3.4T多的共享文件夹和nas存储都挂载到了CentOS主机上；
4、开始copy
具体是这么做的，统计了下需要上传nas系统的文件夹共有300个之多；找了三台CentOS主机，通过上述方式将盘都挂载上；每台设备分配100个文件夹，再将每台设备的100个文件夹分成3份，这样每台设备上可以跑3个copy程序，3台设备9个copy程序同时开始工作；
CentOS服务器1执行的for循序
for i in `cat 42-1.txt`;do rsync -av $i /move/Work/010/;done for i in `cat 42-2.txt`;do rsync -av $i /move/Work/010/;done for i in `cat 42-3.txt`;do rsync -av $i /move/Work/010/;done CentOS服务器2执行的for循环 for i in `cat 43-1.txt`;do rsync -av $i /move/Work/010/;done for i in `cat 43-2.txt`;do rsync -av $i /move/Work/010/;done for i in `cat 43-3.txt`;do rsync -av $i /move/Work/010/;done CentOS服务器3执行的for循环 for i in `cat 44-1.txt`;do rsync -av $i /move/Work/010/;done for i in `cat 44-2.txt`;do rsync -av $i /move/Work/010/;done for i in `cat 44-3.txt`;do rsync -av $i /move/Work/010/;done 上面循环的txt文件里面存放的是分配好的需要copy的目标文件夹的名称；
然后将循环挂后台就开始copy了；
标签：CentOS,windows,move,nas,文件夹,Linux,挂载,7.8,txt 来源： https://www.cnblogs.com/zhangzhide/p/15821716.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。