当前位置 : 主页 > 操作系统 > centos >

linux sync server+inotify 1对多同步实例

来源:互联网 收集:自由互联 发布时间:2022-06-20
linux sync server 1对多同步实例 需求: 线上也业务需求,意思就是N台机器需要维护各自机器上的一个目录,并且他们都是相同滴。so,这两天想了下,决定使用rsync server+inotify来解决这个

linux sync server 1对多同步实例


需求:

    线上也业务需求,意思就是N台机器需要维护各自机器上的一个目录,并且他们都是相同滴。so,这两天想了下,决定使用rsync server+inotify来解决这个问题。当然有的人会用自动化工具来推,但是我这里这个文件可能每次只改里面1小点内容,推个一百来兆的东西(这句话有错也莫喷了亲 = =)。。反正出于种种原因决定要使用 rsync



作业环境:

CentOS 6.3 

rsync  version 3.0.6 (为系统自带版本 = = 当然编译的下面会说)

inotify-tools 3.14

-------------------

首先说明:

    其实rsync和inotify-tools使用yum或者系统自带的都可以的。

    inotify需要注意内核是否支持:(ls /proc/sys/fs/inotify 下是否有max_queued_events  max_user_instances  max_user_watches三个文件)

    rsync的编译安装也不过多介绍了,tar xf *** && cd *** && ./configure && make && make install

-------------------

场景说明:

    我这里是1台server(rsync+inotify)来主动推送文件到N台机器(rsync守护进程),并且我N台机器配置文件配置都一样(喊密码认证文件)。

-------------------

server端配置:

mkdir /data/sync-server cd /data/sync-server yum -y install inotify-tools rsync #然后编写inotify-tools脚本 vim sync.sh #!/bin/bash # source /etc/profile &>/dev/null basedir=$(cd `dirname $0`;pwd) log="$basedir/sync.log" synclog="$basedir/result.log" file="$basedir/iplist" /usr/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format  '%T %w%f'  -e modify,delete,create,attrib,move /data/karaf-sync/ccms-build/ \ |while read file  do while read line do echo "$line sync start..."     /usr/bin/rsync -vzrtopg --delete --progress /data/karaf-sync/ccms-build/ ccms@$line::ccms --password-file=/data/karaf-sync/scripts/pwd &>> $log     if [ $? -eq 0 ];then         echo "`date +%F-%H:%M` $line was rsynced Success !!!" &>> $synclog         echo "-----------------------------------------------------------" &>> $synclog         echo "" &>> $synclog     else         echo "`date +%F-%H:%M` $line was rsynced Failed !!!" &>> $synclog         echo "-----------------------------------------------------------" &>> $synclog         echo "" &>> $synclog     fi   done < $basedir/iplist             #我外面有相关的定时同步iplist的操作 doneinotifywait: -r, --recursive递归查询目录。 -q, --quiet,打印出监控事件。 -e, --event,指定要监控的事件,常见的事件有move、modify、delete、create、attrib等。全量:(access、modify、 attrib、 close_write、 close_nowrite、close、open、 moved_to、 moved_from、move、 move_self、 create、delete、delete_self、unmount) --timefmt:时间的输出格式 --format:指定变化文件的详细信息 ------------------------------------------------------ inotify 可以监视的文件系统事件包括: IN_ACCESS,即文件被访问 IN_MODIFY,文件被 write IN_ATTRIB,文件属性被修改,如 chmod、chown、touch 等 IN_CLOSE_WRITE,可写文件被 close IN_CLOSE_NOWRITE,不可写文件被 close IN_OPEN,文件被 open IN_MOVED_FROM,文件被移走,如 mv IN_MOVED_TO,文件被移来,如 mv、cp IN_CREATE,创建新文件 IN_DELETE,文件被删除,如 rm IN_DELETE_SELF,自删除,即一个可执行文件在执行时删除自己 IN_MOVE_SELF,自移动,即一个可执行文件在执行时移动自己 IN_UNMOUNT,宿主文件系统被 umount IN_CLOSE,文件被关闭,等同于(IN_CLOSE_WRITE | IN_CLOSE_NOWRITE) IN_MOVE,文件被移动,等同于(IN_MOVED_FROM | IN_MOVED_TO) 注:上面所说的文件也包括目录。 rsync的命令请另外搜索。。


client端配置:

vim /etc/rsyncd.conf uid = root        #运行RSYNC守护进程的用户 gid = root        #运行RSYNC守护进程的组 port = 873          #监听端口 use chroot = no     #不使用chroot max connections = 100   #最大连接数,0为不限制 timeout = 600        #通过该选项可以覆盖客户指定的IP超时时间.通过该选项可以确保rsync服务器不会永远等待一个崩溃的客户端.超时单位为秒钟,0表示没有超时定义,这也是默认值.对于匿名rsync服务器来说,一个理想的数字是600. pid file = /var/run/rsyncd.pid lock file = /var/run/rsyncd.lock log file = /var/log/rsyncd.log #log format --- google [ccms] path = /data/ccms-build/       #需要同步的路径 comment =  ccms dir           #名称 ignore errors                #可以忽略一些无关的IO错误 read only = no               list = no                      #不允许列文件 hosts allow = 192.168.***.***/255.255.255.0       #允许的客户端 auth users = ccms                   #认证用户 secrets file = /etc/rsync.pwd       #密码文件:600 vim /etc/rsync.pwd ccms:********    #同server端相同 chmod 600 /etc/rsync.pwd

启动进程

/usr/bin/rsync --daemon echo "/usr/bin/rsync --daemon" >> /etc/init.d/rc.local



到这里就差不多了,我这里使用的是screen 启动之前的server的脚本,然后就可以两边写文件进行测试了。

另外一些命令的具体用法 ,可以搜一下,作为参考,这里就不再详细说明了,抱歉!

上一篇:Linux之web服务的搭建
下一篇:没有了
网友评论