rsync

系统优化

## 系统基础优化
#!/bin/bash
rm -f /etc/yum.repos.d/*
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-
7.repo
curl -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
sed -i '/mirrors.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo
sed -i '/mirrors.cloud.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo
yum install net-tools vim tree htop iftop gcc gcc-c++ glibc \
iotop lrzsz sl wget unzip telnet nmap nc psmisc \
dos2unix bash-completion bash-completion-extras sysstat \
rsync nfs-utils httpd-tools -y
systemctl disable firewalld
systemctl stop firewalld
sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/sysconfig/selinux
sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config
setenforce 0
echo -e '# Sync System Time\n* * * * * /usr/sbin/ntpdate ntp1.aliyun.com  &>/dev/null' > /var/spool/cron/root
echo '* - nofile 65535' >> /etc/security/limits.conf

## 修改IP和主机名
#!/bin/bash
read -p 'Please Input Hostname: ' host_name
hostnamectl set-hostname $host_name
read -p 'Please Input IP Address: ' host_ip
sed -i "s#100#$host_ip#g" /etc/sysconfig/network-scripts/ifcfg-eth{0,1}
systemctl restart network

rsync介绍

rsync是一款开源、快速、多功能、可实现全量及增量的本地或远程数据同步备份的优秀工具。rsync软
件适用于Unix/linux/Windows等多种操作系统平台。
类似于ssh带的scp命令，但是又优于scp命令的功能，scp每次都是全量拷贝，而rsync可以增量拷贝
##   ------------- rsync官方地址：TP
##                 rsync监听端口：873
##                 rsync运行模式：C/S

小提示：利用rsync还可以实现删除文件和目录的功能，这又相当于rm命令，一个rsync相当于scp、
cp、rm，但是还优于他们的每一个命令。

##########  scp使用方法 #################
## 文件推送：scp 源文件 用户名@主机IP:/指定目录
[root@web01 ~]# scp -r /etc [email protected]:/backup
[root@backup ~]# scp base.sh [email protected]:/tmp

## 文件拉取：scp 用户名@主机IP:/指定文件（远程目标文件） 本地路径
[root@web01 ~]# scp [email protected]:/root/1.txt ./

rsync特性

支持拷贝特殊文件，如连接文件、设备等。
可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能。
可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变 –p。
可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高（tar-N）。
可以使用rcp、rsh、ssh等方式来配合传输文件（rsync本身不对数据加密）。
可以通过socket（进程方式）传输文件和数据（服务端和客户端）*。
支持匿名的活认证（无需系统用户）的进程模式传输，可以实现方便安全的进行数据备份和镜像

全量备份

增量备份

Rsync的应用场景

推：所有主机推送本地数据至Rsync备份服务器，会导致数据同步缓慢(适合少量数据备份)

拉: rsync备份服务端拉取所有主机上的数据，会导致备份服务器开销大

大量服务器备份场景

异地备份实现思路

rsync传输模式

SYNOPSIS
	## Local: rsync [OPTION...] SRC... [DEST]
	## Access via remote shell:
		Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
		Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
	## Access via rsync daemon:
		Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
		rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
		Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
		rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST
		
		
# 本地模式：类似cp命令，本地拷贝目录或文件
[root@web01 ~]# rsync /root/base.sh /usr/local/
rsync [OPTION...] SRC... [DEST]
rsync [选项...] 源文件... 目标路径

# 远程模式：类似scp命令 基于ssh协议
## 拉：rsync [OPTION...] [USER@]HOST:SRC... [DEST]
rsync [选项...] 本机的源文件 [用户@]主机IP:目标路径
[root@web01 ~]# scp 1.txt [email protected]:/opt
[root@web01 ~]# rsync 1.txt [email protected]:/usr/local

## 推：Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
rsync [选项...] [用户@]主机IP:源文件... 本机的目标路径
[root@web01 ~]# scp [email protected]:/root/base.sh ./
[root@web01 ~]# rsync [email protected]:/root/base.sh ./

# 守护进程
Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
	rsync [选项...] [匿名用户@]主机IP::模块名... 目标路径
	rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
	rsync [选项...] 源文件... [匿名用户@]主机IP::模块名
	rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST
	rsync [选项...] 源文件... [匿名用户@]主机IP::模块名

选项	作用
-a	归档传输
-v	显示传输过程
-z	压缩传输
--delee	无差异传输（会删除不存在的文件）

配置rsync服务端

# 1.修改服务端的配置文件
[root@backup ~]# vi /etc/rsyncd.conf
## 启动rsync服务的用户
uid = rsync
## 启动rsync服务的用户组
gid = rsync
## rsync协议的端口（默认端口）
port = 873
## 无需让rsync以root身份运行，也可以接受完整的文件
fake super = yes
## 禁锢目录
use chroot = no
## 最大连接数
max connections = 200
## 超时时间
timeout = 600
## 忽略错误
ignore errors
## 关闭只读
read only = false
## 禁止查看模块信息
list = false
## 认证用户（匿名用户）
auth users = rsync_backup
## 密码文件
secrets file = /etc/rsync.passwd
## 日志文件
log file = /var/log/rsyncd.log
#####################################
## 模块名
[zls]
## 注释
comment = xxx
## 服务端备份的路径
path = /backup

# 2.创建服务启动用户
[root@backup ~]# useradd rsync -s /sbin/nologin -M

# 3.创建备份目录
[root@backup ~]# mkdir -p /backup

# 4.授权目录
[root@backup ~]# chown rsync.rsync /backup/

# 5.创建密码文件
[root@backup ~]# vi /etc/rsync.passwd
rsync_backup:123

# 6.授权
[root@backup ~]# chmod 600 /etc/rsync.passwd

# 7.启动服务
[root@backup ~]# systemctl start rsyncd
[root@backup ~]# systemctl enable rsyncd

# 8.检查服务是否启动成功
[root@backup ~]# ps -ef|grep rsync
root 18475 1 0 11:43 ? 00:00:00 /usr/bin/rsync --daemon --no-detach
[root@backup ~]# netstat -lntup|grep rsync
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN
18475/rsync
tcp6 0 0 :::873 :::* LISTEN
18475/rsync

客户端推送命令

[root@web01 ~]# rsync -avz base.sh [email protected]::zls
Password: 123

## rsync免交互推送
# 1.客户端配置密码文件（和服务端secrets file文件密码对应上）
[root@web01 ~]# vi /etc/zls_rsync.pass
123
# 2.客户端密码文件授权
[root@web01 ~]# chmod 600 /etc/zls_rsync.pass
# 3.客户端推送数据
[root@web01 ~]# rsync -avz /etc [email protected]::zls --password-file=/etc/zls_rsync.pass