您现在的位置是: 首页> 学无止境> Linux> Linux

Linux下实现跨服务器数据同步

张伟江2019-07-19 18:00Linux6016人已围观

简介scp是secure copy的简写,用于在Linux下进行远程拷贝文件的命令,和它类似的命令有cp,不过cp只是在本机进行拷贝不能跨服务器,而且scp传输是加密的。

scp 数据同步

scp是secure copy的简写,用于在Linux下进行远程拷贝文件的命令,和它类似的命令有cp,不过cp只是在本机进行拷贝不能跨服务器,而且scp传输是加密的。

可能会稍微影响一下速度。当你服务器硬盘变为只读 read only system时,用scp可以帮你把文件移出来。
另外,scp还非常不占资源,不会提高多少系统负荷,在这一点上,rsync就远远不及它了。
虽然 rsync比scp会快一点,但当小文件众多的情况下,rsync会导致硬盘I/O非常高,而scp基本不影响系统正常使用。
1.命令格式:
scp [参数] [原路径] [目标路径]

2.命令功能:
scp是 secure copy的缩写, scp是linux系统下基于ssh登陆进行安全的远程文件拷贝命令。linux的scp命令可以在linux服务器之间复制文件和目录。

3.命令参数:

选项参数描述
-1强制scp命令使用协议ssh1
-2强制scp命令使用协议ssh2
-4强制scp命令只使用IPv4寻址
-6强制scp命令只使用IPv6寻址
-B使用批处理模式(传输过程中不询问传输口令或短语)采取批量模式(避免询问密码或口令)
-C允许压缩。(将-C标志传递给ssh,从而打开压缩功能)启用压缩。通过指明 -C 参数来开启压缩模式。
-p保留原文件的修改时间,访问时间和访问权限。
-q不显示传输进度条。
-r递归复制整个目录。
-v详细方式显示输出。scp和ssh(1)会显示出整个过程的调试信息。这些信息用于调试连接,验证和配置问题。
-ccipher 以cipher将数据传输进行加密,这个选项将直接传递给ssh。加密方式 选择在传输过程中用来加密的加密方式 这个选项会被直接传递到 ssh(1)。
-Fssh_config 指定一个替代的ssh配置文件,此参数直接传递给ssh。 ssh 配置 给 ssh 指定一个用来替代默认配置的配置文件。这个选项会被直接传递到 ssh(1)
-iidentity_file 从指定文件中读取传输时使用的密钥文件,此参数直接传递给ssh。
-llimit 限定用户所能使用的带宽,以Kbit/s为单位。限速 限制命令使用的带宽,默认单位是 Kbit/s。
-ossh_option 如果习惯于使用ssh_config(5)中的参数传递方式,
-Pport 注意是大写的P, port是指定数据传输用到的端口号。端口 指定需要的连接的远程主机的端口。注意,这个选项使用的是一个大写的“P”,因为小写的“-p”已经用来保留目标文件的时间和模式相关信息。(LCTT 译注:ssh 命令中使用小写的“-p”来指定目标端口。)
-Sprogram 指定加密传输时所使用的程序。此程序必须能够理解ssh(1)的选项。

【1、安装 expect】

yum install expect
【2、复制以下脚本并执行】
#!/bin/bash
# sync跨服务器数据同步
# author ctocode-zwj <982215226@qq.com>
 
function ctocodeLinuxSync()
{
    echo "|----------------------------------------------------------"
    echo "|========== sync  ---- $1  --- start  =========="
    echo "|----------------------------------------------------------"
    echo ""
	echo "== 1.1、if dir "
	echo "== 1.2、delete remote ECS nginx vhosts        "
	echo "== 1.3、delete remote ECS program        "
	echo  ""
	ssh -t root@"$1" " 
	[[ -d /alidata/www/phplog ]]                        || mkdir /alidata/www/phplog;
	[[ -d /alidata/www/ctocode_website ]]               || mkdir /alidata/www/ctocode_website;
	[[ -d /alidata/www/ctocode_website_log ]]           || mkdir /alidata/www/ctocode_website_log;
	[[ -d /alidata/www/ctocode_website_log_cms ]]       || mkdir /alidata/www/ctocode_website_log_cms;
	[[ -d /alidata/www/ctocode_website_log_shop ]]      || mkdir /alidata/www/ctocode_website_log_shop;
	[[ -d /alidata/www/ctocode_website_nginx_vhosts ]]  || mkdir /alidata/www/ctocode_website_nginx_vhosts;
	rm -r /alidata/www/ctocode_website_nginx_vhosts/*;
	rm -r /alidata/www/ctocode_website/*;
	"
	echo ""
	
	echo "== 2.1、copy local nginx vhosts to remote ECS "
	echo ""
	scp -r /alidata/www/ctocode_website_nginx_vhosts/* root@"$1":/alidata/www/ctocode_website_nginx_vhosts/
	echo ""
	echo "== 2.2、copy local program to remote ECS "
	scp -rq /alidata/www/ctocode_website/* root@"$1":/alidata/www/ctocode_website/
	echo ""

	echo "== 3.1、restart remote ECS nginx "
	echo "== 3.2、setting dir/file right "

	ssh -t root@"$1" "
	chmod -R 777 /alidata/www/ctocode_website/data;
	chmod -R 777 /alidata/www/ctocode_website/ctocode-php-frame/function;

	chmod -R 777 /alidata/www/ctocode_website/domain_cms/data;
	chmod -R 777 /alidata/www/ctocode_website/domain_shop/data;
	/etc/init.d/nginx restart;
	"

	echo ""
    echo "|----------------------------------------------------------"
    echo "|========== sync  ---- $1  --- success  =========="
    echo "|----------------------------------------------------------"
    echo ""
}

echo "|----------------------------------------"
echo "|"
echo "|========== ctocode-linux-sync =========="
echo "|"
echo "|----------------------------------------"

# 本机内网ip
localIp="*.*.*.*"

# 远程内网ip数组密码
remoteIpPwd="****"

# 远程内网ip数组
remoteIpArr[0]=*.*.*.*
remoteIpArr[1]=*.*.*.*
 
#for 循环遍历 -- 同步
for remoteIp in ${remoteIpArr[@]};
do
	# expect 免密登录
	/bin/expect <<-EOF

		set timeout 30
		spawn scp -r /root/.ssh/id_rsa.pub root@$remoteIp:/root/${localIp}_id_rsa.pub

		# 监听询问,这句意思是交互获取是否返回password:
		# send就是将密码zjk123发送过去
		expect {
			"*yes/no" { send "yes\r";exp_continue }
			"password:" { send "$remoteIpPwd\r" }
		}
		# 将本机公钥追加到远程主机的authorized文件中
		spawn ssh -t root@$remoteIp echo > /root/.ssh/authorized_keys 
		spawn ssh -t root@$remoteIp cat /root/${localIp}_id_rsa.pub >> /root/.ssh/authorized_keys 

		expect {
			"*yes/no" { send "yes\r";exp_continue }
			"*password:" { send "$remoteIpPwd\r" }
		}
		 
		# interact代表执行完留在远程控制台,不加这句执行完后返回本地控制台 
		# interact
		# expect eof
	EOF

	# -- 数据同步
	ctocodeLinuxSync $remoteIp $localIp
done

echo "|----------------------------------------"
echo "|"
echo "|========== ctocode-linux-sync =========="
echo "|"
echo "|----------------------------------------"

rsync 数据同步

参考链接:http://man.linuxde.net/rsync

检查linux 是否有安装rsync
1、指令# rpm -qa rsync
出现rsync 包名就是安装了
2、指令# rsync
出现帮助信息说明已经安装

time rsync -aCvq repository root@mas2:/usr/nci/;
两台服务器传文件,用rsync传输增量时报错

rsync -ravzut -e ‘ssh -p 8004’ –progress /alidata1/70-sc-project/1031/ root@**:/alidata1/70-sc-project/1031/

错误如下:
bash: rsync: command not found
rsync: connection unexpectedly closed (0 bytes received so far) [sender]
rsync error: remote command not found (code 127) at io.c(600) [sender=3.0.6]

发现是文件接收端没有安装rsync命令,需要现在接收端安装执行 yum install rsync -y 命令即可

- END -

点赞(0) 打赏

文章评论 共有 1 条评论

张伟江 3年前 回复TA

写得非常好

站点信息

  • 建站时间:2018年10月24日
  • 网站程序:fastadmin
  • 文章统计296篇文章
  • 标签管理标签云
  • 统计数据百度统计
  • 微信号:zwj982215226

打赏本站

  • 如果你觉得本站很棒,可以通过扫码支付打赏哦!
  • 微信扫码:你说多少就多少~
  • 支付宝扫码:你说多少就多少~

微信小程序

微信扫一扫体验

立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部