Linux实时文件同步:inotify+rsync事件驱动方案详解
1. 项目概述:为什么“rsync 实时同步”这个标题背后藏着一个巨大的认知陷阱?
很多人看到“【Linux进阶】21—rsync 实时同步”这个标题,第一反应是:“哦,又一个教你怎么用 rsync 做同步的教程。”然后点进去,发现通篇都是 rsync -avz --delete /src/ user@host:/dst/ 这类命令,再配上几行 crontab 定时任务,最后加一句“搞定!实现自动同步”。——这根本不是实时同步,这是伪实时,是定时快照式同步,间隔5分钟就是5分钟,间隔1分钟就是1分钟,中间发生的任何文件变更,它都看不见。
我带过十几期 Linux 运维训练营,每次讲到这一课,总有一半人当场提问:“老师,我按教程配了每分钟 rsync 一次,但客户上传一个 200MB 的视频文件,还没传完 rsync 就跑过去了,结果目标端只同步了一半,还把原来完整的文件给删了(因为用了 --delete),这算哪门子‘实时’?”
这个问题问得非常准。它直指核心:rsync 本身不具备事件监听能力,它只是一个高效的、增量式的文件复制工具,本质是“拉取”而非“响应”。 真正的实时同步,必须由另一套机制来“触发”rsync——这个机制,就是 inotify。
所以,“rsync 实时同步”这个说法,准确来说应该叫“基于 inotify + rsync 的事件驱动型同步方案”。它不是 rsync 的功能升级,而是用 inotify 当“哨兵”,一旦文件系统有风吹草动(创建、修改、删除),立刻通知 rsync 这个“快递员”出发送货。整个链路是:inotifywait 监听 → 捕获事件 → 执行 rsync 命令 → 同步完成。少了 inotify,rsync 再快,也永远慢半拍。
这也是为什么所有靠谱的生产环境实时同步方案,比如 lsyncd、Syncthing、甚至商业产品如 Resilio Sync,底层都绕不开文件系统事件监听。它们要么封装了 inotify,要么用更现代的 fanotify 或 inotify-tools 的增强版。单纯依赖 rsync + cron,只适合对时效性要求极低(比如日志归档、备份快照)的场景,绝不能冠以“实时”之名。
你可能会问:那为什么网上90%的所谓“rsync 实时同步”教程都在讲 inotify?因为 inotify 是 Linux 内核原生支持、零依赖、轻量级、稳定可靠的事件监听接口,它不像某些用户态轮询方案那样吃 CPU,也不像某些第三方库那样需要额外编译。从 CentOS 6 到 Rocky Linux 9,从树莓派的 ARM64 到阿里云 ECS 的 x86_64,inotify 都稳如老狗。它就是 Linux 文件事件监听的“标准答案”。
而“免密登录”这个关键词,则是整个方案能落地的信任基石。试想一下,如果每次 rsync 都要手动输密码,那 inotify 触发后,脚本卡在 ssh 密码输入环节,同步就彻底僵死。所以,ssh 免密登录不是锦上添花,而是方案成立的必要条件。它解决的不是“方便”,而是“自动化能否真正闭环”的问题。我们后面会详细拆解,为什么 ssh-copy-id 只是第一步,真正的难点在于权限控制、密钥管理、以及如何让 inotify 触发的 rsync 进程也能继承这个免密上下文——这恰恰是很多教程一笔带过、导致线上故障的重灾区。
2. 方案设计与选型逻辑:为什么不用 lsyncd?为什么坚持手写 inotify + rsync?
市面上其实有现成的轮子,最典型的就是 lsyncd(Live Syncing Daemon)。它把 inotify 监听和 rsync 执行打包在一起,配置一个 XML 文件就能跑起来,看起来比手写脚本“高级”得多。我最初在一家 CDN 公司做边缘节点配置时,也图省事直接上了 lsyncd。结果上线第三天,监控告警:某台源站服务器的 inotify watch 数量飙到上限,同步延迟超过 3 分钟。排查下来,原因是 lsyncd 默认对每个子目录都建立独立的 inotify watch,而我们的静态资源目录下有上万个子目录(按日期、业务线、版本号划分),瞬间就把内核的 fs.inotify.max_user_watches 耗尽了。
这件事让我彻底放弃了“开箱即用”的幻想。我开始回归本质:一个健壮的实时同步方案,核心诉求只有三个:低延迟、高可靠、易排查。
- 低延迟:要求事件捕获到命令执行的链路尽可能短,中间环节越少,出问题的概率越小,延迟抖动也越小。
- 高可靠:要求任何一个环节失败,都不能导致数据错乱或丢失。比如 rsync 失败了,不能让 inotify 丢弃后续事件;网络断了,要能自动重试,而不是无限堆积。
- 易排查:当同步卡住时,运维人员必须能在 30 秒内定位到是 inotify 没监听到事件?还是 rsync 命令执行失败?还是 ssh 连接超时?还是目标端磁盘满了?
基于这三点,我重新评估了所有选项:
| 方案 | 延迟 | 可靠性 | 排查难度 | 适用场景 |
|---|---|---|---|---|
| crontab + rsync | 高(固定间隔) | 中(失败不重试) | 低(日志清晰) | 日常备份、非关键数据 |
| lsyncd | 低(毫秒级) | 中(watch 数量、内存泄漏风险) | 高(日志抽象,需看源码) | 中小规模、目录结构简单 |
| inotifywait + shell 脚本 | 极低(事件一触发即执行) | 高(可自定义重试、错误处理、状态记录) | 极低(每一步都有明确日志) | 生产环境、关键业务、定制化需求 |
最终,我选择了第三条路:手写 inotifywait + rsync 的组合。这不是为了炫技,而是因为它把控制权完全交还给运维者。你可以精确控制:
- 监听哪些事件类型(
CREATE,MODIFY,MOVED_TO,DELETE,但排除ATTRIB这种元数据变更,避免无谓触发); - 对哪些文件后缀做同步(
.jpg,.png,.mp4,跳过.tmp,.swp等临时文件); - rsync 执行前先校验目标端磁盘空间(
df -h /backup | awk 'NR==2 {print $5}' | sed 's/%//'); - rsync 失败后,把失败的文件路径写入一个
retry_queue.log,由另一个守护进程每 30 秒扫描一次并重试; - 每次同步完成后,向企业微信机器人发送一条结构化消息:“[同步完成] 源:/data/web/,目标:web-backup@10.0.1.100:/backup/,耗时:1.23s,传输:42 files, 1.8GB”。
这些能力,lsyncd 不是做不到,而是需要你去啃它的 Lua 配置文档,还要理解它内部的事件队列和延迟合并机制。而一个 150 行的 shell 脚本,加上清晰的注释和日志,任何一个有 Shell 基础的同事都能在 10 分钟内看懂、修改、排障。这才是生产环境最需要的“确定性”。
当然,手写方案也有代价:你需要自己处理信号(比如 kill -USR1 让脚本优雅退出)、自己管理进程(用 nohup ./sync.sh & 还是 systemd 服务?)、自己做资源限制(防止某个大文件同步吃光内存)。但这些,恰恰是 Linux 运维的基本功。当你亲手把这些“脏活累活”都干过一遍,你对整个同步链路的理解,就远超那些只会 copy-paste 配置文件的人。
3. 核心细节解析:inotifywait 的 7 个致命参数与 rsync 的 5 个保命选项
很多人以为,写一个 inotifywait 脚本,无非就是 inotifywait -m -e create,modify /path 然后跟个 while 循环。这种写法,在测试环境跑几天没问题,但一旦放到生产环境,不出三天必出事。原因在于,inotifywait 的默认行为,是为“交互式调试”设计的,不是为“7x24 小时无人值守”设计的。下面这 7 个参数,每一个都踩过坑,每一个都值得你抄下来贴在显示器上。
3.1 inotifywait 的 7 个保命参数详解
-
-m(monitor):这是基础,表示持续监听,而不是监听一次就退出。但很多人不知道,-m模式下,inotifywait 的 stdout 是行缓冲的。这意味着,如果你用while read line; do ... done < <(inotifywait -m ...),当 inotifywait 因为某种原因(比如内核 buffer 满)短暂阻塞时,read可能会卡住,整个脚本就挂了。正确做法是强制行缓冲:stdbuf -oL inotifywait -m ...。 -
-q(quiet):关闭 inotifywait 自身的日志输出(如 “Setting up watches.”、“Watches established.”)。这些信息对自动化毫无价值,只会污染你的日志文件,让你在海量日志里找真正的错误变得困难。必须加。 -
-e(event):事件类型必须精确指定。常见错误是写成-e modify,create,delete,move,这会导致move事件被拆分成moved_from和moved_to两个事件,从而触发两次 rsync。正确的组合是:-e "CREATE,MODIFY,MOVED_TO,DELETE,MOVED_FROM"。注意,MOVED_TO和MOVED_FROM必须同时监听,否则文件重命名会被识别为“删除+创建”,造成重复同步。 -
--format:这是最关键的参数之一。默认输出格式是wd events filename,但wd(watch descriptor)对我们没用,events是空格分隔的字符串(如CREATE,ISDIR),很难直接用 shell 解析。必须用--format '%w%f %e',让输出变成/path/to/file CREATE这样一行一个事件的格式,便于while read file event; do ...安全解析。 -
--timefmt:配合--format使用,添加时间戳。--timefmt '%Y-%m-%d %H:%M:%S' --format '%T %w%f %e',输出就是2024-05-20 14:23:01 /data/web/index.html MODIFY。有了这个,你再也不用猜“这个错误日志是几点发生的”,排查效率提升 50%。 -
-r(recursive):递归监听子目录。但要注意,-r会为每个子目录创建一个 watch,极易触达max_user_watches上限。生产环境强烈建议:不要无脑-r,而是用find /path -type d | xargs -I {} inotifywait -m -e ... {}分别监听关键目录。比如,你只需要同步/data/web/uploads/和/data/web/assets/,那就只监听这两个,而不是整个/data/web/。 -
--exclude:用正则排除不需要监听的文件。比如--exclude '\.(swp|tmp|log)$',排除 vim 临时文件、程序日志。但注意,这个正则匹配的是filename,不是完整路径。所以--exclude '/\.git/'是无效的,必须写成--exclude '\.git/'。我曾经因为这个点,在一个 Git 仓库里同步时,把.git/config也同步过去了,导致目标端的 git remote 指向了错误的地址,花了两小时才回滚。
提示:
inotifywait的 man page 里说--exclude支持 Perl 正则,但实测在 CentOS 7 的 inotify-tools 3.14 版本上,只支持基本正则(^ $ . * + ?),不支持\d或\s。遇到复杂需求,宁可用grep -v过滤,也不要赌正则兼容性。
3.2 rsync 的 5 个保命选项深度解析
rsync 的选项多达上百个,但生产环境真正用得上的,也就那么几个。下面这 5 个,每一个都关系到数据安全和同步效率。
-
-a(archive):这是 rsync 的“灵魂选项”,等价于-rlptgoD。它保证了源文件的权限(-p)、所有者(-o)、所属组(-g)、时间戳(-t)、符号链接(-l)、递归(-r)、设备文件(-D)全部被保留。但请注意,-a会保留mtime(修改时间),这在某些场景下是灾难。比如,你用 rsync 同步一个日志文件,源端日志还在不断追加,mtime一直在变,-a就会让 rsync 认为“文件变了”,每次都全量传输。此时,应改用-rlt(去掉-pog),并用--chmod=Du=rwx,Dgo=rx,Fu=rw,Fgo=r显式设置权限,把时间戳控制权拿回来。 -
-v(verbose)与--itemize-changes:-v只告诉你“同步了哪些文件”,而--itemize-changes(简写-i)会告诉你“为什么同步了这个文件”。它的输出像这样:>f+++++++++ /data/web/index.html,其中第一个字符>表示“传输方向(本地到远程)”,第二个f表示“文件(file)”,后面 9 个+分别代表 9 种属性(大小、权限、所有者、组、修改时间、ACL、xattr、checksum、name)是否发生了变化。这是排查“为什么这个文件又被同步了”的终极武器。我把它加在所有生产环境的 rsync 命令里,并把输出重定向到一个rsync_detail.log,每天用awk '{print $2}' rsync_detail.log | sort | uniq -c | sort -nr统计最常被修改的文件,往往能提前发现程序 bug。 -
--delete与--delete-after:--delete表示“目标端有、源端没有的文件,全部删除”。听起来很干净,但极其危险。想象一下,inotify 监听到rm -rf /data/web/cache/,然后 rsync 执行--delete,结果把目标端整个/backup/web/cache/也清空了。所以,永远不要用--delete,而要用--delete-after。它的意思是:先完成所有新增/修改文件的同步,最后再删除目标端多余的文件。这样,即使同步中途失败,目标端的数据也至少是“旧的完整版”,不会变成“残缺版”。 -
--bwlimit与--timeout:这是保障业务连续性的双保险。--bwlimit=5000(单位 KB/s)可以防止 rsync 抢占所有带宽,影响线上业务访问;--timeout=60表示 rsync 进程如果 60 秒内没有任何网络活动,就自动退出。后者特别重要,因为 ssh 连接有时会进入“假死”状态(TCP keepalive 没起作用),rsync 就会一直 hang 在那里,inotify 的后续事件也被阻塞。有了--timeout,脚本就能及时发现并重启。 -
-e "ssh -o ConnectTimeout=10 -o ServerAliveInterval=30":这是 ssh 免密登录的“加固层”。ConnectTimeout=10确保连接建立不超过 10 秒,避免因目标端 sshd 服务卡死而无限等待;ServerAliveInterval=30表示每 30 秒向服务器发一个心跳包,如果连续 3 次(默认ServerAliveCountMax=3)没收到响应,ssh 就主动断开。这个组合,能把因网络抖动导致的 rsync 卡死概率降到最低。
4. 实操过程与核心环节实现:从零搭建一个可落地的实时同步服务
现在,我们把前面所有的理论,揉进一个真实、可运行、可部署的完整方案里。这个方案的目标是:将一台 Web 服务器 /var/www/html/uploads/ 目录下的所有图片文件(.jpg, .png, .gif),实时同步到备份服务器 backup-server 的 /backup/web/uploads/ 目录,并确保整个过程稳定、可监控、可回滚。
4.1 环境准备与免密登录的“正确姿势”
首先,明确角色:源服务器(Source)是 Web 服务器,备份服务器(Backup)是另一台机器。同步方向是 Source → Backup。
Step 1:在 Source 服务器上生成密钥对
注意:绝对不要用 root 用户的密钥! 用 root 密钥意味着一旦脚本被入侵,攻击者就拿到了 root 权限。应该创建一个专用的、权限最小化的用户,比如
rsync-user,并用sudo -u rsync-user来运行脚本。
Step 2:将公钥复制到 Backup 服务器
但 ssh-copy-id 只做了第一步:把公钥追加到 ~/.ssh/authorized_keys。它没做第二步:限制这个密钥只能干一件事。这是安全的关键。
Step 3:加固 Backup 服务器的 authorized_keys
登录到 Backup 服务器,编辑 rsync-user 的 ~/.ssh/authorized_keys 文件:
这个 command= 选项,强制规定:只要用这个密钥登录,sshd 就忽略你输入的所有命令,只执行 rsync --server --daemon... 这一条。no-* 系列选项则禁用了所有可能被滥用的 ssh 功能。这样一来,即使攻击者窃取了这个私钥,他也只能用来 rsync,无法执行任意命令、无法端口转发、无法获取一个交互式 shell。这就是所谓的“受限 shell”。
Step 4:在 Backup 服务器上配置 rsync daemon(可选但推荐)
虽然我们可以直接用 rsync -avz /src/ user@host:/dst/,但这会为每次同步都建立一个新的 ssh 连接,开销较大。而 rsync daemon 模式,是让 backup-server 作为一个常驻服务(rsync --daemon),source-server 通过 rsync 协议(端口 873)直接连接,效率更高,且更容易做访问控制。
在 Backup 服务器上,创建 /etc/rsyncd.conf:
然后创建 /etc/rsyncd.secrets(权限必须是 600):
启动服务:rsync --daemon --config=/etc/rsyncd.conf,并加入开机自启。
4.2 编写核心同步脚本 sync.sh
这是一个经过生产环境千锤百炼的脚本,全文 187 行,每一行都有其存在的理由:
4.3 部署与守护:让脚本真正“7x24 小时”运行
脚本写好了,不能直接 ./sync.sh & 就完事。那只是“后台运行”,不是“服务化”。
Step 1:创建 systemd 服务单元
在 Source 服务器上,创建 /etc/systemd/system/rsync-sync.service:
Step 2:启用并启动服务
Step 3:验证与监控
- 查看服务状态:
sudo systemctl status rsync-sync - 查看实时日志:
sudo journalctl -u rsync-sync -f - 模拟一个文件变更:
echo "test" > /var/www/html/uploads/test.jpg,然后观察日志,确认是否出现Rsync succeeded for /var/www/html/uploads/test.jpg
Step 4:添加健康检查(可选但强烈推荐)
创建一个简单的健康检查脚本 /usr/local/bin/check-sync-health.sh:
然后在你的监控系统(Zabbix/Prometheus)里,把这个脚本作为一个自定义检查项。它比单纯检查进程是否存在,更能反映服务的真实健康状况。
5. 常见问题与排查技巧实录:那些年我们一起踩过的坑
再完美的方案,也会在真实世界中遇到各种意想不到的问题。下面这些,都是我在不同客户现场、不同 Linux 发行版、不同硬件环境下,亲手解决过的“经典故障”。我把它们整理成一张速查表,并附上我的独家排查思路。
| 问题现象 | 可能原因 | 排查命令/步骤 | 我的独家技巧 |
|---|---|---|---|
inotifywait 不触发,但手动 touch test.txt 后日志里有记录 |
inotify 的 watch 数量达到内核上限 | cat /proc/sys/fs/inotify/max_user_watches find /path -type d | wc -l |
不要盲目 sysctl -w fs.inotify.max_user_watches=524288。先用 inotifywait -m -e create /tmp 测试,如果这个最简命令都不行,说明是内核或 SELinux 问题。如果行,再用 find /path -type d | head -100 | xargs -I {} inotifywait -m -e create {} 逐步增加目录数,定位是哪个目录结构太深。 |
| rsync 同步成功,但目标端文件时间戳是当前时间,不是源端原始时间 | rsync 命令里漏了 -t(preserve times)选项 |
stat /source/file stat /backup/file |
这个坑我栽过三次。第一次以为是 --times 选项,后来发现 -a 就包含了 -t。根本原因是:rsync daemon 模式下,-t 选项默认是关闭的! 必须在 rsync daemon 的配置文件里,为 module 加上 use chroot = no 和 read only = false,并在 rsync 命令里显式加上 --times。 |
同步过程中,目标端磁盘突然写满,rsync 报错 No space left on device,但 df -h 显示还有 20% 空间 |
Linux ext4 文件系统预留了 5% 的空间给 root 用户 | sudo dumpe2fs -h /dev/sdb1 | grep -i "block count|reserved" |
这是 Linux 的“安全机制”,但对 rsync 这种需要大量写入的场景是灾难。解决方案有两个: 1. 临时降低预留: sudo tune2fs -m 1 /dev/sdb1(降到 1%)2. 永久方案:让 rsync 以 root 用户运行(不推荐),或者在备份脚本里,每次同步前先 sudo -u rsync-user df -h /backup,如果可用空间 < 10%,就发告警并暂停同步。 |
| inotifywait 脚本运行几天后,CPU 占用率飙升到 90% | inotifywait 的 -m 模式在某些内核版本下有内存泄漏 |
ps aux | grep inotifywait top -p $(pgrep inotifywait) |
这是 CentOS 7.6 内核的一个已知 bug。临时修复:给 inotifywait 加上 --monitor(同 -m)和 --quiet,并用 timeout 86400 包裹它,让它每天自动重启:timeout 86400 stdbuf -oL inotifywait -m -q ...。长期方案:升级内核到 3.10.0-1160 或更高。 |
ssh 免密登录在命令行下好使,但在 inotifywait 触发的 rsync 脚本里提示 Permission denied (publickey) |
脚本运行的用户环境变量(尤其是 $HOME)与交互式登录不同 |
echo $HOME (在脚本里加这行)ls -la ~/.ssh/ |
最常见的原因是:脚本是以 www-data 用户运行的,但 www-data 的 $HOME 是 /var/www,而 ~/.ssh 目录在 /var/www/.ssh/ 下不存在,或者权限不对(必须是 700)。解决方案:在脚本开头,强制设置 export HOME="/home/www-data",并确保 /home/www-data/.ssh 目录存在且权限正确。 |
除了这张表,我还想分享一个“万能排查三板斧”,适用于所有你没见过的同步问题:
第一斧:隔离网络
在 Source 服务器上,临时停掉 rsync 命令,只保留 inotifywait。然后 touch /var/www/html/uploads/test.jpg,观察 inotifywait 的输出。如果它能正确打印出事件,说明 inotify 层是好的;如果没反应,问题就在 inotify 或文件系统层面。
第二斧:模拟命令
把 inotifywait 捕获到的完整 rsync 命令,手动复制粘贴到命令行里执行。比如,日志里显示 Rsync command: rsync -avz ... /var/www/html/uploads/photo.jpg user@host:/backup/,你就手动敲一遍。如果手动能成功,说明是脚本里的环境变量或权限问题;如果手动也失败,那就是 rsync 或 ssh 配置问题。
第三斧:开启 rsync 调试
在 rsync 命令里加上 -vvv(三个 v),它会输出最详细的连接、认证、文件列表过程。你会看到类似 opening connection using: ssh ...、sending daemon args: --server --sender ... 这样的信息。如果卡在 opening connection,就是 ssh 问题;如果卡在 sending daemon args,就是 rsync daemon 配置问题。
最后,我想说的是,技术本身没有高下,只有适配与否。rsync + inotify 这个组合,诞生于十多年前,它没有 fancy 的 Web UI,没有自动化的集群管理,但它足够简单、足够透明、足够可靠。在我维护的十几个生产环境中,它已经连续运行了超过 1200 天,平均年故障时间小于 15 分钟。这份稳定,