- A+
所属分类：linux技术
大数据集群经常涉及文件拷贝，我在学习大数据时总结了几种方式
三台主机：192.168.10.100、192.168.10.101、192.168.10.102有一个一样的用户：swcode
做过映射关系：
hadoop100 192.168.10.100 hadoop101 192.168.10.101 hadoop102 192.168.10.102 SCP拷贝
scp会拷贝所有指定内容
1、向192.168.10.101推送数据
scp -r /home/swcode/test.txt [email protected]:/home/swcode 2、从192.168.10.100拉取数据
scp -r [email protected]:/home/swcode/test.txt /home/swcode/ 3、在192.168.10.101上将192.168.10.100的数据拷贝到192.168.10.102上
scp -r [email protected]:/home/swcode/test.txt [email protected]:/home/swcode/ RSYNC同步
rsync只会复制不一样的内容
1、同步192.168.10.100和192.168.10.101的~目录
rsync -av /home/swcode/ [email protected]:/home/swcode 没有的可以安装
yum install -y rsync 2、分发脚本xsync，可以放到/etc/profile.d/中，全局使用（别忘了chomd执行权限）
#!/bin/bash #1. 判断参数个数 if [ $# -lt 1 ] then echo Not Enough Arguement! exit; fi #2. 遍历集群所有机器，hosts内做过映射关系：hadoop102 192.168.10.102 for host in hadoop101 hadoop102 do echo =============== $host =============== #3. 遍历所有目录，挨个发送 for file in $@ do #4. 判断文件是否存在 if [ -e $file ] then #5. 获取父目录 pdir=$(cd -P $(dirname $file); pwd) #6. 获取当前文件的名称 fname=$(basename $file) ssh $host "mkdir -p $pdir" rsync -av $pdir/$filename $host:$pdir else echo $file does not exists! fi done done 
