Linux下实现跨服务器数据同步

scp 数据同步

scp是secure copy的简写，用于在Linux下进行远程拷贝文件的命令，和它类似的命令有cp，不过cp只是在本机进行拷贝不能跨服务器，而且scp传输是加密的。

可能会稍微影响一下速度。当你服务器硬盘变为只读 read only system时，用scp可以帮你把文件移出来。
另外，scp还非常不占资源，不会提高多少系统负荷，在这一点上，rsync就远远不及它了。
虽然 rsync比scp会快一点，但当小文件众多的情况下，rsync会导致硬盘I/O非常高，而scp基本不影响系统正常使用。
1．命令格式：
scp [参数] [原路径] [目标路径]

2．命令功能：
scp是 secure copy的缩写, scp是linux系统下基于ssh登陆进行安全的远程文件拷贝命令。linux的scp命令可以在linux服务器之间复制文件和目录。

3．命令参数：

【1、安装 expect】

yum install expect

#!/bin/bash
# sync跨服务器数据同步
# author ctocode-zwj <982215226@qq.com>
 
function ctocodeLinuxSync()
{
    echo "|----------------------------------------------------------"
    echo "|========== sync  ---- $1  --- start  =========="
    echo "|----------------------------------------------------------"
    echo ""
	echo "== 1.1、if dir "
	echo "== 1.2、delete remote ECS nginx vhosts        "
	echo "== 1.3、delete remote ECS program        "
	echo  ""
	ssh -t root@"$1" " 
	[[ -d /alidata/www/phplog ]]                        || mkdir /alidata/www/phplog;
	[[ -d /alidata/www/ctocode_website ]]               || mkdir /alidata/www/ctocode_website;
	[[ -d /alidata/www/ctocode_website_log ]]           || mkdir /alidata/www/ctocode_website_log;
	[[ -d /alidata/www/ctocode_website_log_cms ]]       || mkdir /alidata/www/ctocode_website_log_cms;
	[[ -d /alidata/www/ctocode_website_log_shop ]]      || mkdir /alidata/www/ctocode_website_log_shop;
	[[ -d /alidata/www/ctocode_website_nginx_vhosts ]]  || mkdir /alidata/www/ctocode_website_nginx_vhosts;
	rm -r /alidata/www/ctocode_website_nginx_vhosts/*;
	rm -r /alidata/www/ctocode_website/*;
	"
	echo ""
	
	echo "== 2.1、copy local nginx vhosts to remote ECS "
	echo ""
	scp -r /alidata/www/ctocode_website_nginx_vhosts/* root@"$1":/alidata/www/ctocode_website_nginx_vhosts/
	echo ""
	echo "== 2.2、copy local program to remote ECS "
	scp -rq /alidata/www/ctocode_website/* root@"$1":/alidata/www/ctocode_website/
	echo ""

	echo "== 3.1、restart remote ECS nginx "
	echo "== 3.2、setting dir/file right "

	ssh -t root@"$1" "
	chmod -R 777 /alidata/www/ctocode_website/data;
	chmod -R 777 /alidata/www/ctocode_website/ctocode-php-frame/function;

	chmod -R 777 /alidata/www/ctocode_website/domain_cms/data;
	chmod -R 777 /alidata/www/ctocode_website/domain_shop/data;
	/etc/init.d/nginx restart;
	"

	echo ""
    echo "|----------------------------------------------------------"
    echo "|========== sync  ---- $1  --- success  =========="
    echo "|----------------------------------------------------------"
    echo ""
}

echo "|----------------------------------------"
echo "|"
echo "|========== ctocode-linux-sync =========="
echo "|"
echo "|----------------------------------------"

# 本机内网ip
localIp="*.*.*.*"

# 远程内网ip数组密码
remoteIpPwd="****"

# 远程内网ip数组
remoteIpArr[0]=*.*.*.*
remoteIpArr[1]=*.*.*.*
 
#for 循环遍历 -- 同步
for remoteIp in ${remoteIpArr[@]};
do
	# expect 免密登录
	/bin/expect <<-EOF

		set timeout 30
		spawn scp -r /root/.ssh/id_rsa.pub root@$remoteIp:/root/${localIp}_id_rsa.pub

		# 监听询问,这句意思是交互获取是否返回password：
		# send就是将密码zjk123发送过去
		expect {
			"*yes/no" { send "yes\r";exp_continue }
			"password:" { send "$remoteIpPwd\r" }
		}
		# 将本机公钥追加到远程主机的authorized文件中
		spawn ssh -t root@$remoteIp echo > /root/.ssh/authorized_keys 
		spawn ssh -t root@$remoteIp cat /root/${localIp}_id_rsa.pub >> /root/.ssh/authorized_keys 

		expect {
			"*yes/no" { send "yes\r";exp_continue }
			"*password:" { send "$remoteIpPwd\r" }
		}
		 
		# interact代表执行完留在远程控制台，不加这句执行完后返回本地控制台 
		# interact
		# expect eof
	EOF

	# -- 数据同步
	ctocodeLinuxSync $remoteIp $localIp
done

echo "|----------------------------------------"
echo "|"
echo "|========== ctocode-linux-sync =========="
echo "|"
echo "|----------------------------------------"

rsync 数据同步

参考链接：http://man.linuxde.net/rsync

检查linux 是否有安装rsync
1、指令# rpm -qa rsync
出现rsync 包名就是安装了
2、指令# rsync
出现帮助信息说明已经安装

time rsync -aCvq repository root@mas2:/usr/nci/;
两台服务器传文件，用rsync传输增量时报错

rsync -ravzut -e ‘ssh -p 8004’ –progress /alidata1/70-sc-project/1031/ root@**:/alidata1/70-sc-project/1031/

错误如下：
bash: rsync: command not found
rsync: connection unexpectedly closed (0 bytes received so far) [sender]
rsync error: remote command not found (code 127) at io.c(600) [sender=3.0.6]

发现是文件接收端没有安装rsync命令，需要现在接收端安装执行 yum install rsync -y 命令即可

- END -