Linux sersync + rsync 实现实时数据同步

  • Linux sersync + rsync 实现实时数据同步已关闭评论
  • 18 次浏览
  • A+
所属分类:linux技术
摘要

  sersync类似于inotify,同样用于监控,但它克服了inotify的缺点.  一个操作可能会产生重复的事件,这样可能会触发rsync的多次同步。


sersync:

  sersync类似于inotify,同样用于监控,但它克服了inotify的缺点.

inotify+rsync 缺点:

  一个操作可能会产生重复的事件,这样可能会触发rsync的多次同步。

serync特点:

  基于inotify基础上开发而来的。

sersync的作用:

  用来替代inotify+resync的脚本文件。

  • 会对对linux系统文件系统产生的临时文件和重复的文件操作进行过滤,在结合rsync同步的时候,节省了运行时耗和网络资源

  • 配置简单,提供了要给xml配置文件和一个二进制可执行文件

  • 采用多线程模式

  • 自带crontab共呢个

sersync项目地址: https://code.google.com/archive/p/sersync/
sersync下载地址: https://code.google.com/archive/p/sersync/downloads

sersync配置文件说明:

<?xml version="1.0" encoding="ISO-8859-1"?> <head version="2.5">     <host hostip="localhost" port="8008"></host>     <debug start="false"/>        # 是否开启调试模式     <fileSystem xfs="false"/>     <filter start="false">    #不开启文件过滤功能,当为true时,以下类型的文件将不同步 	<exclude expression="(.*).svn"></exclude>  #过滤特定后缀的文件 	<exclude expression="(.*).gz"></exclude> 	<exclude expression="^info/*"></exclude> 	<exclude expression="^static/*"></exclude>     </filter>     <inotify> # 监控事件,表示inotify的监控事件  sersync背后调用的就是inotify, 	<delete start="true"/> 	<createFolder start="true"/> 	<createFile start="false"/> 	<closeWrite start="true"/> 	<moveFrom start="true"/> 	<moveTo start="true"/> 	<attrib start="false"/>	   #默认为false,修改此行为true,文件属性变化后也会触发同步。 	<modify start="false"/>     </inotify>      <sersync>   # rsync命令的配置段,sersync背后会嗲用rsync工具 	<localpath watch="/data/www">   #修改此行,设置需要同步的源目录或文件,建议同步目录 后面会监控这个目录的变化 		<remote ip="10.0.0.12" name="backup"/>   #修改此行,指定备份服务器地址和rsync daemon的 共享模块名(相当于实际目录的别名) ,如果下面开启了ssh start,此时name为远程shell方式运行时的目标目录 	    <!--<remote ip="192.168.8.39" name="tongbu"/>--> 	    <!--<remote ip="192.168.8.40" name="tongbu"/>--> 	</localpath> 	<rsync> 	    <commonParams params="-artuz"/>  # sersync是基于rsync同步的,这里是指定rsync选项 	    <auth start="true" users="rsyncuser" passwordfile="/etc/rsync.pas"/>  #默认为false,表示验证之后才同步。改此行为true,指定备份服务器的rsync配置的用户和密码文件 	    <userDefinedPort start="false" port="874"/><!-- port=874 -->  #指定rsync的非标准端口号 	    <timeout start="false" time="100"/><!-- timeout=100 --> 	    <ssh start="false"/>  #默认使用rsync daemon运行rsync命令,true为使用远程shell模式 	</rsync> 	<failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->  #错误重传及日志文件路径 	<crontab start="false" schedule="600"><!--600mins-->  #不开启crontab功能 	    <crontabfilter start="false">  #不开启crontab定时传输的筛选功能 		<exclude expression="*.php"></exclude> 		<exclude expression="info/*"></exclude> 	    </crontabfilter> 	</crontab> 	<plugin start="false" name="command"/>     </sersync>  #####################################以下行不需要修改     <plugin name="command"> 	<param prefix="/bin/sh" suffix="" ignoreError="true"/>	<!--prefix /opt/tongbu/mmm.sh suffix--> 	<filter start="false"> 	    <include expression="(.*).php"/> 	    <include expression="(.*).sh"/> 	</filter>     </plugin>      <plugin name="socket"> 	<localpath watch="/opt/tongbu"> 	    <deshost ip="192.168.138.20" port="8009"/> 	</localpath>     </plugin>     <plugin name="refreshCDN"> 	<localpath watch="/data0/htdocs/cms.xoyo.com/site/"> 	    <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/> 	    <sendurl base="http://pic.xoyo.com/cms"/> 	    <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/> 	</localpath>     </plugin> </head>  
范例:基于rsync daemon 实现 sersync

前提:
  使用rsync配置备份服务器为rsync服务器
  https://www.cnblogs.com/heyongshen/p/16822630.html

数据服务器的相关配置

#在数据服务器上下载sersync,并拷贝至相应的目录,设置PATH变量  #下载sersync工具并解压到指定目录 [root@data-centos8 ~]#tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz  [root@data-centos8 ~]#cp -a GNU-Linux-x86 /usr/local/sersync  [root@data-centos8 ~]#echo 'PATH=/usr/local/sersync:$PATH' > /etc/profile.d/sersync.sh  [root@data-centos8 ~]#source /etc/profile.d/sersync.sh  #sersync目录只有两个文件:一个是二进制程序文件,一个是xml格式的配置文件 [root@data-centos8 ~]#ls /usr/local/sersync/confxml.xml sersync2  #安装rsync工具  #备份sersync配置文件 [root@data-centos8 ~]#cp /usr/local/sersync/confxml.xml{,.bak}  #修改sersync配置文件 [root@CentOS8 www]# cat /usr/local/sersync/confxml.xml  <?xml version="1.0" encoding="ISO-8859-1"?> <head version="2.5">     <host hostip="localhost" port="8008"></host>     <debug start="false"/>     <fileSystem xfs="false"/>     <filter start="false"> 	<exclude expression="(.*).svn"></exclude> 	<exclude expression="(.*).gz"></exclude> 	<exclude expression="^info/*"></exclude> 	<exclude expression="^static/*"></exclude>     </filter>     <inotify> 	<delete start="true"/> 	<createFolder start="true"/> 	<createFile start="false"/> 	<closeWrite start="true"/> 	<moveFrom start="true"/> 	<moveTo start="true"/> 	<attrib start="false"/> 	<modify start="false"/>     </inotify>      <sersync> 	<localpath watch="/data/www"> 		<remote ip="10.0.0.12" name="backup"/> 	    <!--<remote ip="192.168.8.39" name="tongbu"/>--> 	    <!--<remote ip="192.168.8.40" name="tongbu"/>--> 	</localpath> 	<rsync> 	    <commonParams params="-artuz"/> 	    <auth start="true" users="rsyncuser" passwordfile="/etc/rsync.pas"/> 	    <userDefinedPort start="false" port="874"/><!-- port=874 --> 	    <timeout start="false" time="100"/><!-- timeout=100 --> 	    <ssh start="false"/> 	</rsync> 	<failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once--> 	<crontab start="false" schedule="600"><!--600mins--> 	    <crontabfilter start="false"> 		<exclude expression="*.php"></exclude> 		<exclude expression="info/*"></exclude> 	    </crontabfilter> 	</crontab> 	<plugin start="false" name="command"/>     </sersync>      <plugin name="command"> 	<param prefix="/bin/sh" suffix="" ignoreError="true"/>	<!--prefix /opt/tongbu/mmm.sh suffix--> 	<filter start="false"> 	    <include expression="(.*).php"/> 	    <include expression="(.*).sh"/> 	</filter>     </plugin>      <plugin name="socket"> 	<localpath watch="/opt/tongbu"> 	    <deshost ip="192.168.138.20" port="8009"/> 	</localpath>     </plugin>     <plugin name="refreshCDN"> 	<localpath watch="/data0/htdocs/cms.xoyo.com/site/"> 	    <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/> 	    <sendurl base="http://pic.xoyo.com/cms"/> 	    <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/> 	</localpath>     </plugin> </head>  #创建连接rsynd服务器的用户密码文件,并必须修改权限 [root@data-centos8 ~]#echo magedu > /etc/rsync.pas [root@data-centos8 ~]#chmod 600 /etc/rsync.pas  #必须要修改密码文件的权限,不然会报错  #查看帮助 [root@data-centos8 ~]#sersync2 -h set the system param execute:echo 50000000 > /proc/sys/fs/inotify/max_user_watches execute:echo 327679 > /proc/sys/fs/inotify/max_queued_events parse the command param _______________________________________________________ 参数-d:启用守护进程模式 参数-r:在监控前,将监控目录与远程主机用rsync命令推送一遍 c参数-n: 指定开启守护线程的数量,默认为10个 参数-o:指定配置文件,默认使用当前工作目录下的confxml.xml文件 参数-m:单独启用其他模块,使用 -m refreshCDN 开启刷新CDN模块 参数-m:单独启用其他模块,使用 -m socket 开启socket模块 参数-m:单独启用其他模块,使用 -m http 开启http模块 不加-m参数,则默认执行同步程序  #以后台方式执行同步 [root@data-centos8 ~]#sersync2 -dro /usr/local/sersync/confxml.xml  #d:守护进程模式 r:刚开始就先同步一次  o:指定配置文件的路径  #sersync支持多实例,也即监控多个目录时,只需分别配置不同配置文件,然后使用sersync2指定对应配置 文件运行 

基于远程shell 实现 sersync

  不需要配置rsync daemon,只需要配置基于key验证的ssh即可

[root@data_server ~]# ssh-keygen Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa):  Created directory '/root/.ssh'. Enter passphrase (empty for no passphrase):  Enter same passphrase again:  Your identification has been saved in /root/.ssh/id_rsa. Your public key has been saved in /root/.ssh/id_rsa.pub. The key fingerprint is: SHA256:VUxYvaSINtyfERTWH6bpMrrFeP7pfLo6+RwLU/LJvqY root@CentOS8.cc The key's randomart image is: +---[RSA 3072]----+ |           *B+   | |          .oo +o | |       . o.. ++o.| |        =.o oo. .| |       .S. o.+   | |          ooB..  | |         ..*+=   | |         .+o*.+. | |         ..EO&=  | +----[SHA256]-----+  [root@data_server ~]# ssh-copy-id 10.0.0.12 
# 不需要配置rsync daemon,只需要配置基于key验证的ssh即可 [root@data-centos8 ~]#ssh-keygen [root@data-centos8 ~]#ssh-copy-id 10.0.0.12  # 下载sersync,并拷贝至相应的目录,设置PATH变量  # 修改sersync配置文件 [root@data-centos8 ~]#cat /usr/local/sersync/confxml.xml <?xml version="1.0" encoding="ISO-8859-1"?> <head version="2.5">    <host hostip="localhost" port="8008"></host>    <debug start="false"/>    <fileSystem xfs="false"/>    <filter start="false">  <exclude expression="(.*).svn"></exclude>  <exclude expression="(.*).gz"></exclude>  <exclude expression="^info/*"></exclude>  <exclude expression="^static/*"></exclude>    </filter>    <inotify>  <delete start="true"/>  <createFolder start="true"/>  <createFile start="false"/>  <closeWrite start="true"/>  <moveFrom start="true"/>  <moveTo start="true"/>  <attrib start="true"/>   # 修改此行为true,表示保留文件属性  <modify start="false"/>    </inotify>    <sersync>  <localpath watch="/data/www">  # 修改此行,指定源数据目录    <remote ip="备份服务器IP" name="/data/backup"/>  # 修改此行指定备份服务器地址和备份目标目录  这里需要填写真实路径    <!--<remote ip="192.168.8.39" name="tongbu"/>-->    <!--<remote ip="192.168.8.40" name="tongbu"/>-->  </localpath>  <rsync>    <commonParams params="-artuz"/>    <auth start="false" users="root" passwordfile="/etc/rsync.pas"/>  # 必须修改此行,表示不启用认证,改为false    <userDefinedPort start="false" port="874"/><!-- port=874 -->    <timeout start="false" time="100"/><!-- timeout=100 -->    <ssh start="true"/>    # 修改此行为true,使用远程shell方式的rsync连接方式,无需在目标主机上配置启动rsync daemon服务  #####################################以下行不需要修改####################################  </rsync>  <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every  60mins execute once-->  <crontab start="false" schedule="600"><!--600mins-->    <crontabfilter start="false">  <exclude expression="*.php"></exclude>  <exclude expression="info/*"></exclude>    </crontabfilter>  </crontab>  <plugin start="false" name="command"/>    </sersync> # 将中间的行可以删除 </head>