注册 登录
  • 欢迎访问开心洋葱网站,在线教程,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站,欢迎加入开心洋葱 QQ群
  • 为方便开心用户,开心洋葱官网已经开启复制功能!
  • 欢迎访问开心洋葱网站,手机也能访问哦~欢迎加入开心洋葱多维思维学习平台 QQ群
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏开心洋葱吧~~~~~~~~~~~~~!
  • 由于近期流量激增,小站的ECS没能经的起亲们的访问,本站依然没有盈利,如果各位看如果觉着文字不错,还请看官给小站打个赏~~~~~~~~~~~~~!

服务器集群-多服务器代码同步rsync+inotify

服务器 开心洋葱 2636次浏览 已收录 0个评论 手机上查看
文章索引目录
[隐藏]

服务器集群-多服务器代码同步rsync+inotify

多台服务器的代码需要保持一致,所以我们需要借助rsync+inotify来实现服务期间的代码实时同步

1.说明

<code>rsync其实就是remote rsync,它是一个远程同步工具,兼具cp和scp的功能,rsync命令的使用几乎和scp是一样一样的

Inotify 是一种强大的、细粒度的、异步的文件系统事件监控机制,linux内核从2.6.13起,加入了Inotify支持,通过Inotify可以监控文件系统中添加、删除,修改、移动等各种细微事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而inotify-tools就是这样的一个第三方软件。

</code>

2.环境

<code>此实例有两台web机,用其中一台作为主要rsync客户端(192.168.65.140),将此台服务器中的代码推送到第二台web机(rsync服务器 192.168.65.145)

1、操作系统:CentOS6.4-X86_64

2、rsync客户端(主web机)(rsync+inotify):192.168.65.140

3、rsync服务端(第二台web机):192.168.65.145

</code>

3.实际配置

3.1.安装rsync 和 配置

安装(多台web机都需要安装,本实例需要在192.168.65.140和192.168.65.145上安装)

<code>yum -y install rsync
</code>

配置详细参数后续有说明(可以网上查看)

<code>uid = root      //运行RSYNC守护进程的用户
gid = root      //运行RSYNC守护进程的组
use chroot = 0    //不使用chroot
max connections = 0   // 最大连接数,0为不限制
port = 873  //默认端口873

下面这些文件是安装完RSYNC服务后自动生成的文件
pid file = /var/run/rsyncd.pid    //pid文件的存放位置
lock file = /var/run/rsync.lock   //锁文件的存放位置.指定支持max connections参数的锁文件,默认值是/var/run/rsyncd.lock.
log file = /var/log/rsyncd.log    //日志记录文件的存放位置

Timeout = 300
通过该选项可以覆盖客户指定的IP超时时间.通过该选项可以确保rsync服务器不会永远等待一个崩溃的客户端.超时单位为秒钟,0表示没有超时定义,这也是默认值.对于匿名rsync服务器来说,一个理想的数字是600.

Log format = %t %a %m %f %b
通过该选项用户在使用transfer logging可以自己定制日志文件的字段.其格式是一个包含格式定义符的字符串,可以使用的格式定义符如下所示:
%h 远程主机名
%a 远程IP地址
%l 文件长度字符数
%p 该次rsync会话的进程id
%o 操作类型:" send" 或" recv"
%f 文件名
%P 模块路径
%m 模块名
%t 当前时间
%u 认证的用户名(匿名时是null)
%b 实际传输的字节数
%c 当发送文件时,该字段记录该文件的校验码
默认log格式为:" %o %h [%a] %m (%u) %f %l" ,一般来说,在每行的头上会添加" %t [%p] " .在源代码中同时发布有一个叫rsyncstats的perl脚本程序来统计这种格式的日志文件.

#transfer logging = yes
使rsync服务器使用ftp格式的文件来记录下载和上载操作在自己单独的日志中.

syslog facility = local3
指定rsync发送日志消息给syslog时的消息级别,常见的消息级别是:uth, authpriv, cron, daemon, ftp, kern, lpr, mail, news, security, sys-log, user, uucp, local0, local1, local2, local3,local4, local5, local6和local7.默认值是daemon.

模块参数
[web1]   //这里是认证的模块名,在client端需要指定
path = /data/bbc/  //需要做镜像的目录,不可缺少!
comment = backup web  //这个模块的注释信息
ignore errors    //可以忽略一些无关的IO错误
read only = yes  //该选项设定是否允许客户上载文件.如果为true那么任何上载请求都会失败,如果为false并且服务器目录读写权限允许那么上载是允许的.默认值为true.
list = no        //不允许列文件
auth users = bak    //认证的用户名,如果没有这行则表明是匿名,此用户与系统无关
该选项指定由空格或逗号分隔的用户名列表,只有这些用户才允许连接该模块.这里的用户和系统用户没有任何关系.如果" auth users" 被设置,那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份这里使用的challenge/response认证协议.用户的名和密码以明文方式存放在" secrets file" 选项指定的文件中.默认情况下无需密码就可以连接模块(也就是匿名方式).

secrets file = /etc/rsync/web.pwd      //密码和用户名对比表,密码文件自己生成
该选项指定一个包含定义用户名:密码对的文件.只有在" auth users" 被定义时,该文件才有作用.文件每行包含一个username:passwd对.一般来说密码最好不要超过8个字符.没有默认的secures file名,需要限式指定一个(例如:/etc/www1.pwd).注意:该文件的权限一定要是600,否则客户端将不能连接服务器.

hosts allow = 192.168.9.0/255.255.255.0  //允许主机或网段
该选项指定哪些IP的客户允许连接该模块.客户模式定义可以是以下形式:
单个IP地址,例如:192.168.9.227
整个网段,例如:192.168.9.0/24,也可以是192.168.9.0/255.255.255.0
多个IP或网段需要用空格隔开,“*”则表示所有,默认是允许所有主机连接.

hosts deny = 0.0.0.0/0  //禁止主机
</code>

配置(除主服务器(客户端服务器)之外的所有web服务器都需要一下配置,本实例只配置192.168.65.145),

<code>创建rsync配置文件存放目录
mkdir /etc/rsync

编辑配置文件
vim /etc/rsync/rsync.conf

 uid = root
 gid = root
 use chroot = no
 max connections = 100
 port = 873
 pid file = /var/run/rsyncd.pid
 log file = /var/log/rsyncd.log
 lock file = /var/run/rsyncd.lock
 timeout = 600
 Log format = %t %a %m %f %b

 [web45]
 path = /data/bbc/
 ignore errors
 read only = no
 list = no
 hosts allow = 192.168.65.140
 auth users = rsync
 secrets file = /etc/rsync/pwd.pwd

创建同步目录
mkdir -p /data/bbc

建立认证文件
echo "rsync:rsync123" >> /etc/rsync/web.pwd

设置认证文件权限
chmod 600 /etc/rsync/web.pwd

设置配置文件权限
chmod 600 /etc/rsync/rsync.conf

创建users指定的用户
groupadd rsync
useradd rsync -g rsync
</code>

以上配置如果是多个服务器,大致一样。

启动rsync

<code>/usr/bin/rsync --daemon --config=/etc/rsync/rsync.conf
</code>

3.2.安装inotify-tools(在主服务器(rsync客户端服务器 192.168.65.140)上安装并配置 inotify 和 rsync(上述已经提到安装))

可以先命令行测试一下同步情况

<code>在/data/bbc/目录中建立文件info.php   : touch /data/bbc/info.php
rsync -vzrtopg --delete --progress /data/bbc/ [email protected]::web45 --password-file=/etc/rsync/web.pwd

如果出现如下图内容,证明同步没有问题;如果有报错,请查看相关资料:http://blog.csdn.net/csj50/article/details/6742561

</code>
服务器集群-多服务器代码同步rsync+inotify

接下来我们就来配置自动监控

inotify 可以监视的文件系统事件包括:

<code>IN_ACCESS,即文件被访问
IN_MODIFY,文件被 write
IN_ATTRIB,文件属性被修改,如 chmod、chown、touch 等
IN_CLOSE_WRITE,可写文件被 close
IN_CLOSE_NOWRITE,不可写文件被 close
IN_OPEN,文件被 open
IN_MOVED_FROM,文件被移走,如 mv
IN_MOVED_TO,文件被移来,如 mv、cp
IN_CREATE,创建新文件
IN_DELETE,文件被删除,如 rm
IN_DELETE_SELF,自删除,即一个可执行文件在执行时删除自己
IN_MOVE_SELF,自移动,即一个可执行文件在执行时移动自己
IN_UNMOUNT,宿主文件系统被 umount
IN_CLOSE,文件被关闭,等同于(IN_CLOSE_WRITE | IN_CLOSE_NOWRITE)
IN_MOVE,文件被移动,等同于(IN_MOVED_FROM | IN_MOVED_TO)
</code>

安装inotify-tools

在安装inotify-tools前请先确认你的linux内核是否打到了2.6.13,并且在编译时开启了CONFIG_INOTIFY选项,也可以通过以下命令检测

ls /proc/sys/fs/inotify 服务器集群-多服务器代码同步rsync+inotify如果有 max_queued_events,max_user_instances,max_user_watches 三项就说明支持

<code>wget http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
./configure --prefix=/usr && make && su -c 'make install'
</code>

编写rsync监控脚本

参数解释

<code>-m, 即--monitor,表示始终保持事件监听状态。
-r, 即--recursive,表示递归查询目录。
-q, 即--quiet,表示打印出监控事件。
-e, 即--event,通过此参数可以指定要监控的事件,常见的事件有modify、delete、create、attrib等
--timefmt:指定时间的输出格式
--format:指定变化文件的详细信息
</code>

vim /root/rsync.sh

<code>#!/bin/bash
host=192.168.65.145
des=web45
user=rsync
src=/data/bbc/

/usr/local/bin/inotifywait -mr -e modify,delete,create,attrib ${src}  | while read  file
  do
      rsync -vzrtopg --delete --progress ${src} ${user}@${host}:${des} --password-file=/etc/rsync/web.pwd &&
      echo "${files} was rsynced" >> /tmp/rsync.log 2>&1
      echo "---------------------------------------------------------------------------"
  done

</code>

建立认证文件【主服务器(客户端)认证文件中的密码】

<code>echo "rsync123" >> /etc/rsync/web.pwd
</code>

给rsync.sh执行权限

<code>chmod +x /root/rsync.sh
</code>

执行rsync.sh

4.FAQ

1、配置过程中,所有服务器需要同步的目录以及文件的权限必须是配置文件中users指定的用户

2、同步的目录必须是已有的目录,并且权限正确

3、服务器中认证的模块名,在client端需要指定

4、一般集群下同步整个目录即可


开心洋葱 , 版权所有丨如未注明 , 均为原创丨未经授权请勿修改 , 转载请注明服务器集群-多服务器代码同步rsync+inotify
喜欢 (0)
[开心洋葱]
分享 (0)
关于作者:
开心洋葱,开心洋葱头,水墨

您必须 登录 才能发表评论!

……