1.1 什么是实时同步：如何实现实时同步
要利用监控服务（inotify），监控同步数据服务器目录中信息的变化
发现目录中数据产生变化，就利用rsync服务推送到备份服务器上
1.2 实现实时同步的方法
inotify+rsync 方式实现数据同步
sersync 方式实现实时数据同步 详情参照：sersync实现数据实时同步的方法
1.2.1 实时同步原理介绍
1.3 inotify+rsync 方式实现数据同步
1.3.1 Inotify简介
Inotify是一种强大的，细粒度的。异步的文件系统事件监控机制，linux内核从2.6.13起，加入了 Inotify支持，通过Inotify可以监控文件系统中添加、删除，修改、移动等各种事件,利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而 inotify-tools 正是实施这样监控的软件。国人周洋在金山公司也开发了类似的实时同步软件sersync。
提示信息：
sersync软件实际上就是在 inotify软件基础上进行开发的，功能要更加强大些 ，多了定时重传机制，过滤机制了提供接口做 CDN，支持多线程橾作。
Inotify实际是一种事件驱动机制，它为应用程序监控文件系统事件提供了实时响应事件的机制，而无须通过诸如cron等的轮询机制来获取事件。cron等机制不仅无法做到实时性，而且消耗大量系统资源。相比之下，inotify基于事件驱动，可以做到对事件处理的实时响应，也没有轮询造成的系统资源消耗，是非常自然的事件通知接口，也与自然世界事件机制相符合。
inotify的实现有几款软件：
inotify-tools，sersync，lrsyncd
1.3.2 inotify+rsync使用方式
inotify 对同步数据目录信息的监控
rsync 完成对数据信息的实时同步
利用脚本进行结合
1.4 部署inotify软件的前提
需要2.6.13以后内核版本才能支持inotify软件。2.6.13内核之后版本，在没有安装inotify软件之前，应该有这三个文件。
[root@backup ~]# ll /proc/sys/fs/inotify/total 0-rw-r--r-- 1 root root 0 Oct 17 10:12 max_queued_events-rw-r--r-- 1 root root 0 Oct 17 10:12 max_user_instances-rw-r--r-- 1 root root 0 Oct 17 10:12 max_user_watches
1.4.1 三个重要文件的说明
| 文件 | 默认值 | 作用说明 |
| max_user_watches | 8192 | 设置inotifywait或inotifywatch命令可以监视的文件数量（单进程） |
| max_user_instances | 128 | 设置每个用户可以运行的inotifywait或inotifywatch命令的进程数 |
| max_queued_events | 16384 | 设置inotify实例事件（event）队列可容纳的事件数量 |
1.4.3 【官方说明】三个重要文件1.4.2 【服务优化】可以将三个文件的数值调大，监听更大的范围
[root@nfs01 ~]# man proc/proc/sys/fs/inotify (since Linux 2.6.13) This directory contains files max_queued_events, max_user_instances, and max_user_watches, that can be used to limit the amount of kernel memory consumed by the inotify interface. for further details, see inotify(7).
通过man手册的第7级别中查到 inotify的默认文件的详细说明。
[root@nfs01 ~]# man 7 inotify/proc/sys/fs/inotify/max_queued_events The value in this file is used when an application calls inotify_init(2) to set an upper limit on the number of events that can be queued to the corresponding inotify instance. Events in excess of this limit are dropped, but an IN_Q_OVERFLOW event is always generated./proc/sys/fs/inotify/max_user_instances This specifies an upper limit on the number of inotify instances that can be created per real user ID./proc/sys/fs/inotify/max_user_watches This specifies an upper limit on the number of watches that can be created per real user ID.
1.5 inotify软件介绍及参数说明
1.5.1 两种安装方式
1） yum install -y inotify-tools
2） 手工编译安装
注：
YUM 安装需要有epel源
http://mirrors.aliyun.com
手工编译安装方式需要到github上进行下载软件包
inotify软件的参考资料链接：
https://github.com/rvoicilas/inotify-tools/wiki
1.5.2 inotify主要安装的两个软件
inotifywait： （主要）
在被监控的文件或目录上等待特定文件系统事件（open close delete等）发生，执行后处于阻塞状态，适合在shell脚本中使用
inotifywatch：
收集被监控的文件系统使用的统计数据，指文件系统事件发生的次数统计。
说明：在实时实时同步的时候，主要是利用inotifywait对目录进行监控
1.5.3 inotifywait命令参数说明
| 参数 | 含义 |
| -m, --monitor （重要参数） | Keep listening for events forever. Without this option, inotifywait will exit after one event is received. 始终保持事件监听。 |
| -d, --daemon | 111 |
| -r, --recursive （重要参数） | Watch all subdirectories of any directories passed as arguments. 递归监控目录数据信息变化 |
| -o, --outfile <file> | Print events to <file> rather than stdout. 打印事件到文件中，相当于标准正确输出 |
| -s, --syslog | Output errors to syslog(3) system log module rather than stderr. 发送错误到syslog相当于标准错误输出 |
| -q, --quiet （重要参数） | If specified once, the program will be less verbose. Specifically, it will not state when it has completed establishing all inotify watches. 输出信息少（只打印事件信息） |
| --exclude <pattern> | Exclude all events on files matching the extended regular expression <pattern>. 排除文件或目录 |
| --excludei <pattern> | Like --exclude but case insensitive. 排除文件或目录时，不区分大小写 |
| --timefmt <fmt> （重要参数） | Print using a specified printf-like format string; read the man page for more details. 指定时间输出格式 |
| --format <fmt> （重要参数） | Print using a specified printf-like formatstring; read the man page for more details. 打印使用指定的输出类似格式字符串；即实际监控输出内容 |
| -e （重要参数） | Listen for specific event(s). If omitted, all events are listened for. 指定监听指定的事件，如果省略，表示所有事件都进行监听 |
| 以上的信息可以通过 inotifywait --help 获得 | |
| 事件名称 | 事件说明 |
| access | file or directory contents were read 文件或目录内容被读取 |
| modify | file or directory contents were writterv 文件或目录内容被写入 |
| attrib | file or directory attributes changed 文件或目录属性改变 |
| close_write （重要参数） | file or directory closed, after being opened in writeable mode. 文件或目录关闭，在写入模式打开之后关闭的。 |
| close_nowrite | file or directory closed, after being opened in read-only mode. 文件或目录关闭，在只读模式打开之后关闭的 |
| close | file or directory closed, regardless of read/write mode 文件或目录关闭，不管读或是写模式 |
| open | file or directory opened 文件或目录被打开 |
| moved_to 拉 | file or directory moved to watched directory 文件或目录被移动到监控的目录中 |
| moved_from 推 | file or directory moved from watched directory 文件或目录被移动从监控的目录中 |
| move （重要参数） | file or directory moved to or from watched directory 文件或目录不管移动到或是移出监控目录都触发事件 |
| create （重要参数） | file or directory created within watched directory 文件或目录创建在监控目录中 |
| delete （重要参数） | file or directory deleted within watched directory 文件或目录被删除在监控目录中 |
| delete_self | file or directory was deleted 文件或目录被删除，目录本身被删除 |
| unmount | file system containing file or directory unmounted |
| 以上的信息可以通过 inotifywait --help 获得 | |
1.5.4.1 【实例】inotifywait监控中的事件测试
1、创建事件
[root@nfs01 data]# touch test2.txt[root@nfs01 ~]# inotifywait -mrq /data --timefmt "%d-%m-%y %H:%M" --format "%T %w%f 事件信息: %e" -e create17-10-17 11:19 /data/test2.txt 事件信息: CREATE
2、删除事件
[root@nfs01 data]# /rm -f test1.txt[root@nfs01 ~]# inotifywait -mrq /data --timefmt "%d-%m-%y %H:%M" --format "%T %w%f 事件信息: %e" -e delete17-10-17 11:28 /data/test1.txt 事件信息: DELETE
3、修改事件
[root@nfs01 data]# echo "132" > test.txt[root@nfs01 ~]# inotifywait -mrq /data --timefmt "%d-%m-%y %H:%M" --format "%T %w%f 事件信息: %e" -e close_write17-10-17 11:30 /data/test.txt 事件信息: CLOSE_WRITE,CLOSE
4、移动事件 moved_to
[root@nfs01 data]# mv /etc/hosts .[root@nfs01 ~]# inotifywait -mrq /data --timefmt "%d-%m-%y %H:%M" --format "%T %w%f 事件信息: %e" -e moved_to17-10-17 11:33 /data/hosts 事件信息: MOVED_TO
5、移动事件 moved_from
[root@nfs01 data]# mv ./hosts /tmp/[root@nfs01 ~]# inotifywait -mrq /data --timefmt "%d-%m-%y %H:%M" --format "%T %w%f 事件信息: %e" -e moved_from17-10-17 11:34 /data/hosts 事件信息: MOVED_FROM
1.5.5 inotifywait 参数 --format <fmt>格式定义参数
| 命令参数 | 参数说明 |
| %w（重要参数） | 事件出现时，监控文件或目录的名称信息 |
| %f（重要参数） | 事件出现时，将显示监控目录下触发事件的文件或目录信息，否则为空 |
| %e（重要参数） | 显示发生的事件信息，不同的事件信息用逗号进行分隔 |
| %Xe | 显示发生的事件信息，不同的事件信息有x进行分隔，可以修改X为指定分隔符 |
| %T（重要参数） | 输出时间格式中定义的时间格式信息，通过 --timefmt option 语法格式指定时间信息 这个格式是通过strftime函数进行匹配时间格式信息的 |
| 以上的信息可以通过 inotifywait --help 获得 | |
1.5.6 inotifywait 参数--timefmt <fmt>时间格式参数
| 命令参数 | 参数说明 |
| %d（重要参数） | The day of the month as a decimal number(range 01 to 31) 每月的第几天，显示倍息为十进制数（范围是 01-31 ) |
| %m（重要参数） | The month as a decimal number (range 01 to 12). 显示月份，显示信息为十进制（范围 01-12 ) |
| %M | The minute as a decimal number (range 00 to 59). 显示分钟，显示信息为十进制（范围 00-59 ) |
| %y（重要参数） | The year as a decimal number without a century (range 00 to 99). 年份信息，显示信息为十进制，并且没有世纪信息 |
| %Y | The year as a decimal number including the century. 年份信息，显示信息为十进制，并且包含世纪信息 |
| %H | The hour as a decimal number using a 24-hour clock (range 00 to 23). 小时信息，显示信息为十进制，使用 24小时制（范围 00-23 ) |
| 说明：以上信息可以通过 man strftime信息获取 | |
1.5.6.1 修改输出的日期格式
[root@nfs01 ~]# inotifywait -mrq /data --timefmt "%d/%m/%y %H:%M" --format "%T %w%f"17/10/17 11:12 /data/test1.txt
1.5.7 -e[参数] 重要监控事件参数汇总表：
| 重要事件 | 包含事件 | 备注说明 |
| close | close_write close_nowrite | 文件或目录关闭，不管读或是写模式 即包含写关闭与读关闭 |
| close_write | create | 包含文件创建事件，但不包含目录创建事件 |
| move | moved_to moved_from | 文件或目录不管移动到或是移动出监控目录都触发事件 即包含信息移入或移出监控目录事件 |
| 重要参数汇总：根据以上说明，在实际使用时，只要监控以下事件即可 create 创建、 delete 删除、 movedjto 移入、 close_write 修 改 inotifywait -mrq /data --format "%w%f" -e create,delete,moved_to,close_write
学习交流
热门图片
猜你喜欢的新闻
新闻热点  2024-06-26 22:28:41
 2024-06-26 22:26:16
 2024-06-26 22:23:01
 2024-06-25 19:29:23
 2024-06-25 19:22:14
 2024-06-25 19:19:15
疑难解答 图片精选 | ||
