Linux实时文件同步:inotify+rsync事件驱动方案详解

inotifyrsync实时同步
于 2026-10-29 06:35:18 修改
·本内容遵循CC 4.0 BY-SA版权协议

1. 项目概述:为什么“rsync 实时同步”这个标题背后藏着一个巨大的认知陷阱?

很多人看到“【Linux进阶】21—rsync 实时同步”这个标题,第一反应是:“哦,又一个教你怎么用 rsync 做同步的教程。”然后点进去,发现通篇都是 rsync -avz --delete /src/ user@host:/dst/ 这类命令,再配上几行 crontab 定时任务,最后加一句“搞定!实现自动同步”。——这根本不是实时同步,这是伪实时,是定时快照式同步,间隔5分钟就是5分钟,间隔1分钟就是1分钟,中间发生的任何文件变更,它都看不见。

我带过十几期 Linux 运维训练营,每次讲到这一课,总有一半人当场提问:“老师,我按教程配了每分钟 rsync 一次,但客户上传一个 200MB 的视频文件,还没传完 rsync 就跑过去了,结果目标端只同步了一半,还把原来完整的文件给删了(因为用了 --delete),这算哪门子‘实时’?”
这个问题问得非常准。它直指核心:rsync 本身不具备事件监听能力,它只是一个高效的、增量式的文件复制工具,本质是“拉取”而非“响应”。 真正的实时同步,必须由另一套机制来“触发”rsync——这个机制,就是 inotify。

所以,“rsync 实时同步”这个说法,准确来说应该叫“基于 inotify + rsync 的事件驱动型同步方案”。它不是 rsync 的功能升级,而是用 inotify 当“哨兵”,一旦文件系统有风吹草动(创建、修改、删除),立刻通知 rsync 这个“快递员”出发送货。整个链路是:inotifywait 监听 → 捕获事件 → 执行 rsync 命令 → 同步完成。少了 inotify,rsync 再快,也永远慢半拍。

这也是为什么所有靠谱的生产环境实时同步方案,比如 lsyncd、Syncthing、甚至商业产品如 Resilio Sync,底层都绕不开文件系统事件监听。它们要么封装了 inotify,要么用更现代的 fanotify 或 inotify-tools 的增强版。单纯依赖 rsync + cron,只适合对时效性要求极低(比如日志归档、备份快照)的场景,绝不能冠以“实时”之名。

你可能会问:那为什么网上90%的所谓“rsync 实时同步”教程都在讲 inotify?因为 inotify 是 Linux 内核原生支持、零依赖、轻量级、稳定可靠的事件监听接口,它不像某些用户态轮询方案那样吃 CPU,也不像某些第三方库那样需要额外编译。从 CentOS 6 到 Rocky Linux 9,从树莓派的 ARM64 到阿里云 ECS 的 x86_64,inotify 都稳如老狗。它就是 Linux 文件事件监听的“标准答案”。

而“免密登录”这个关键词,则是整个方案能落地的信任基石。试想一下,如果每次 rsync 都要手动输密码,那 inotify 触发后,脚本卡在 ssh 密码输入环节,同步就彻底僵死。所以,ssh 免密登录不是锦上添花,而是方案成立的必要条件。它解决的不是“方便”,而是“自动化能否真正闭环”的问题。我们后面会详细拆解,为什么 ssh-copy-id 只是第一步,真正的难点在于权限控制、密钥管理、以及如何让 inotify 触发的 rsync 进程也能继承这个免密上下文——这恰恰是很多教程一笔带过、导致线上故障的重灾区。

2. 方案设计与选型逻辑:为什么不用 lsyncd?为什么坚持手写 inotify + rsync?

市面上其实有现成的轮子,最典型的就是 lsyncd(Live Syncing Daemon)。它把 inotify 监听和 rsync 执行打包在一起,配置一个 XML 文件就能跑起来,看起来比手写脚本“高级”得多。我最初在一家 CDN 公司做边缘节点配置时,也图省事直接上了 lsyncd。结果上线第三天,监控告警:某台源站服务器的 inotify watch 数量飙到上限,同步延迟超过 3 分钟。排查下来,原因是 lsyncd 默认对每个子目录都建立独立的 inotify watch,而我们的静态资源目录下有上万个子目录(按日期、业务线、版本号划分),瞬间就把内核的 fs.inotify.max_user_watches 耗尽了。

这件事让我彻底放弃了“开箱即用”的幻想。我开始回归本质:一个健壮的实时同步方案,核心诉求只有三个:低延迟、高可靠、易排查。

  • 低延迟:要求事件捕获到命令执行的链路尽可能短,中间环节越少,出问题的概率越小,延迟抖动也越小。
  • 高可靠:要求任何一个环节失败,都不能导致数据错乱或丢失。比如 rsync 失败了,不能让 inotify 丢弃后续事件;网络断了,要能自动重试,而不是无限堆积。
  • 易排查:当同步卡住时,运维人员必须能在 30 秒内定位到是 inotify 没监听到事件?还是 rsync 命令执行失败?还是 ssh 连接超时?还是目标端磁盘满了?

基于这三点,我重新评估了所有选项:

方案 延迟 可靠性 排查难度 适用场景
crontab + rsync 高(固定间隔) 中(失败不重试) 低(日志清晰) 日常备份、非关键数据
lsyncd 低(毫秒级) 中(watch 数量、内存泄漏风险) 高(日志抽象,需看源码) 中小规模、目录结构简单
inotifywait + shell 脚本 极低(事件一触发即执行) 高(可自定义重试、错误处理、状态记录) 极低(每一步都有明确日志) 生产环境、关键业务、定制化需求

最终,我选择了第三条路:手写 inotifywait + rsync 的组合。这不是为了炫技,而是因为它把控制权完全交还给运维者。你可以精确控制:

  • 监听哪些事件类型(CREATE,MODIFY,MOVED_TO,DELETE,但排除 ATTRIB 这种元数据变更,避免无谓触发);
  • 对哪些文件后缀做同步(.jpg,.png,.mp4,跳过 .tmp,.swp 等临时文件);
  • rsync 执行前先校验目标端磁盘空间(df -h /backup | awk 'NR==2 {print $5}' | sed 's/%//');
  • rsync 失败后,把失败的文件路径写入一个 retry_queue.log,由另一个守护进程每 30 秒扫描一次并重试;
  • 每次同步完成后,向企业微信机器人发送一条结构化消息:“[同步完成] 源:/data/web/,目标:web-backup@10.0.1.100:/backup/,耗时:1.23s,传输:42 files, 1.8GB”。

这些能力,lsyncd 不是做不到,而是需要你去啃它的 Lua 配置文档,还要理解它内部的事件队列和延迟合并机制。而一个 150 行的 shell 脚本,加上清晰的注释和日志,任何一个有 Shell 基础的同事都能在 10 分钟内看懂、修改、排障。这才是生产环境最需要的“确定性”。

当然,手写方案也有代价:你需要自己处理信号(比如 kill -USR1 让脚本优雅退出)、自己管理进程(用 nohup ./sync.sh & 还是 systemd 服务?)、自己做资源限制(防止某个大文件同步吃光内存)。但这些,恰恰是 Linux 运维的基本功。当你亲手把这些“脏活累活”都干过一遍,你对整个同步链路的理解,就远超那些只会 copy-paste 配置文件的人。

3. 核心细节解析:inotifywait 的 7 个致命参数与 rsync 的 5 个保命选项

很多人以为,写一个 inotifywait 脚本,无非就是 inotifywait -m -e create,modify /path 然后跟个 while 循环。这种写法,在测试环境跑几天没问题,但一旦放到生产环境,不出三天必出事。原因在于,inotifywait 的默认行为,是为“交互式调试”设计的,不是为“7x24 小时无人值守”设计的。下面这 7 个参数,每一个都踩过坑,每一个都值得你抄下来贴在显示器上。

3.1 inotifywait 的 7 个保命参数详解

  1. -m(monitor):这是基础,表示持续监听,而不是监听一次就退出。但很多人不知道,-m 模式下,inotifywait 的 stdout 是行缓冲的。这意味着,如果你用 while read line; do ... done < <(inotifywait -m ...),当 inotifywait 因为某种原因(比如内核 buffer 满)短暂阻塞时,read 可能会卡住,整个脚本就挂了。正确做法是强制行缓冲:stdbuf -oL inotifywait -m ...。

  2. -q(quiet):关闭 inotifywait 自身的日志输出(如 “Setting up watches.”、“Watches established.”)。这些信息对自动化毫无价值,只会污染你的日志文件,让你在海量日志里找真正的错误变得困难。必须加。

  3. -e(event):事件类型必须精确指定。常见错误是写成 -e modify,create,delete,move,这会导致 move 事件被拆分成 moved_from 和 moved_to 两个事件,从而触发两次 rsync。正确的组合是:-e "CREATE,MODIFY,MOVED_TO,DELETE,MOVED_FROM"。注意,MOVED_TO 和 MOVED_FROM 必须同时监听,否则文件重命名会被识别为“删除+创建”,造成重复同步。

  4. --format:这是最关键的参数之一。默认输出格式是 wd events filename,但 wd(watch descriptor)对我们没用,events 是空格分隔的字符串(如 CREATE,ISDIR),很难直接用 shell 解析。必须用 --format '%w%f %e',让输出变成 /path/to/file CREATE 这样一行一个事件的格式,便于 while read file event; do ... 安全解析。

  5. --timefmt:配合 --format 使用,添加时间戳。--timefmt '%Y-%m-%d %H:%M:%S' --format '%T %w%f %e',输出就是 2024-05-20 14:23:01 /data/web/index.html MODIFY。有了这个,你再也不用猜“这个错误日志是几点发生的”,排查效率提升 50%。

  6. -r(recursive):递归监听子目录。但要注意,-r 会为每个子目录创建一个 watch,极易触达 max_user_watches 上限。生产环境强烈建议:不要无脑 -r,而是用 find /path -type d | xargs -I {} inotifywait -m -e ... {} 分别监听关键目录。比如,你只需要同步 /data/web/uploads/ 和 /data/web/assets/,那就只监听这两个,而不是整个 /data/web/。

  7. --exclude:用正则排除不需要监听的文件。比如 --exclude '\.(swp|tmp|log)$',排除 vim 临时文件、程序日志。但注意,这个正则匹配的是 filename,不是完整路径。所以 --exclude '/\.git/' 是无效的,必须写成 --exclude '\.git/'。我曾经因为这个点,在一个 Git 仓库里同步时,把 .git/config 也同步过去了,导致目标端的 git remote 指向了错误的地址,花了两小时才回滚。

提示:inotifywait 的 man page 里说 --exclude 支持 Perl 正则,但实测在 CentOS 7 的 inotify-tools 3.14 版本上,只支持基本正则(^ $ . * + ?),不支持 \d 或 \s。遇到复杂需求,宁可用 grep -v 过滤,也不要赌正则兼容性。

3.2 rsync 的 5 个保命选项深度解析

rsync 的选项多达上百个,但生产环境真正用得上的,也就那么几个。下面这 5 个,每一个都关系到数据安全和同步效率。

  1. -a(archive):这是 rsync 的“灵魂选项”,等价于 -rlptgoD。它保证了源文件的权限(-p)、所有者(-o)、所属组(-g)、时间戳(-t)、符号链接(-l)、递归(-r)、设备文件(-D)全部被保留。但请注意,-a 会保留 mtime(修改时间),这在某些场景下是灾难。比如,你用 rsync 同步一个日志文件,源端日志还在不断追加,mtime 一直在变,-a 就会让 rsync 认为“文件变了”,每次都全量传输。此时,应改用 -rlt(去掉 -pog),并用 --chmod=Du=rwx,Dgo=rx,Fu=rw,Fgo=r 显式设置权限,把时间戳控制权拿回来。

  2. -v(verbose)与 --itemize-changes:-v 只告诉你“同步了哪些文件”,而 --itemize-changes(简写 -i)会告诉你“为什么同步了这个文件”。它的输出像这样:>f+++++++++ /data/web/index.html,其中第一个字符 > 表示“传输方向(本地到远程)”,第二个 f 表示“文件(file)”,后面 9 个 + 分别代表 9 种属性(大小、权限、所有者、组、修改时间、ACL、xattr、checksum、name)是否发生了变化。这是排查“为什么这个文件又被同步了”的终极武器。我把它加在所有生产环境的 rsync 命令里,并把输出重定向到一个 rsync_detail.log,每天用 awk '{print $2}' rsync_detail.log | sort | uniq -c | sort -nr 统计最常被修改的文件,往往能提前发现程序 bug。

  3. --delete 与 --delete-after:--delete 表示“目标端有、源端没有的文件,全部删除”。听起来很干净,但极其危险。想象一下,inotify 监听到 rm -rf /data/web/cache/,然后 rsync 执行 --delete,结果把目标端整个 /backup/web/cache/ 也清空了。所以,永远不要用 --delete,而要用 --delete-after。它的意思是:先完成所有新增/修改文件的同步,最后再删除目标端多余的文件。这样,即使同步中途失败,目标端的数据也至少是“旧的完整版”,不会变成“残缺版”。

  4. --bwlimit 与 --timeout:这是保障业务连续性的双保险。--bwlimit=5000(单位 KB/s)可以防止 rsync 抢占所有带宽,影响线上业务访问;--timeout=60 表示 rsync 进程如果 60 秒内没有任何网络活动,就自动退出。后者特别重要,因为 ssh 连接有时会进入“假死”状态(TCP keepalive 没起作用),rsync 就会一直 hang 在那里,inotify 的后续事件也被阻塞。有了 --timeout,脚本就能及时发现并重启。

  5. -e "ssh -o ConnectTimeout=10 -o ServerAliveInterval=30":这是 ssh 免密登录的“加固层”。ConnectTimeout=10 确保连接建立不超过 10 秒,避免因目标端 sshd 服务卡死而无限等待;ServerAliveInterval=30 表示每 30 秒向服务器发一个心跳包,如果连续 3 次(默认 ServerAliveCountMax=3)没收到响应,ssh 就主动断开。这个组合,能把因网络抖动导致的 rsync 卡死概率降到最低。

4. 实操过程与核心环节实现:从零搭建一个可落地的实时同步服务

现在,我们把前面所有的理论,揉进一个真实、可运行、可部署的完整方案里。这个方案的目标是:将一台 Web 服务器 /var/www/html/uploads/ 目录下的所有图片文件(.jpg, .png, .gif),实时同步到备份服务器 backup-server 的 /backup/web/uploads/ 目录,并确保整个过程稳定、可监控、可回滚。

4.1 环境准备与免密登录的“正确姿势”

首先,明确角色:源服务器(Source)是 Web 服务器,备份服务器(Backup)是另一台机器。同步方向是 Source → Backup。

Step 1:在 Source 服务器上生成密钥对

BASH
# 切换到要运行同步脚本的用户,比如 www-data 或 nginx
sudo -u www-data bash
cd ~
# 生成密钥,不设密码(-N ''),保存为 .ssh/id_rsa_sync
ssh-keygen -t rsa -b 4096 -f ~/.ssh/id_rsa_sync -N ''

注意:绝对不要用 root 用户的密钥! 用 root 密钥意味着一旦脚本被入侵,攻击者就拿到了 root 权限。应该创建一个专用的、权限最小化的用户,比如 rsync-user,并用 sudo -u rsync-user 来运行脚本。

Step 2:将公钥复制到 Backup 服务器

BASH
# 这里不是用 ssh-copy-id,而是手动操作,确保可控
ssh-copy-id -i ~/.ssh/id_rsa_sync.pub rsync-user@backup-server

但 ssh-copy-id 只做了第一步:把公钥追加到 ~/.ssh/authorized_keys。它没做第二步:限制这个密钥只能干一件事。这是安全的关键。

Step 3:加固 Backup 服务器的 authorized_keys 登录到 Backup 服务器,编辑 rsync-user 的 ~/.ssh/authorized_keys 文件:

TEXT
command="rsync --server --daemon --config=/etc/rsyncd.conf",no-port-forwarding,no-X11-forwarding,no-agent-forwarding,no-pty ssh-rsa AAAA... user@source

这个 command= 选项,强制规定:只要用这个密钥登录,sshd 就忽略你输入的所有命令,只执行 rsync --server --daemon... 这一条。no-* 系列选项则禁用了所有可能被滥用的 ssh 功能。这样一来,即使攻击者窃取了这个私钥,他也只能用来 rsync,无法执行任意命令、无法端口转发、无法获取一个交互式 shell。这就是所谓的“受限 shell”。

Step 4:在 Backup 服务器上配置 rsync daemon(可选但推荐) 虽然我们可以直接用 rsync -avz /src/ user@host:/dst/,但这会为每次同步都建立一个新的 ssh 连接,开销较大。而 rsync daemon 模式,是让 backup-server 作为一个常驻服务(rsync --daemon),source-server 通过 rsync 协议(端口 873)直接连接,效率更高,且更容易做访问控制。

在 Backup 服务器上,创建 /etc/rsyncd.conf:

TEXT
uid = rsync-user
gid = rsync-user
use chroot = no
max connections = 5
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
 
[web-backup]
path = /backup/web/uploads/
comment = Web Uploads Backup
read only = false
write only = true
list = false
auth users = rsync-user
secrets file = /etc/rsyncd.secrets
hosts allow = 10.0.1.0/24
hosts deny = *

然后创建 /etc/rsyncd.secrets(权限必须是 600):

TEXT
rsync-user:your_strong_password_here

启动服务:rsync --daemon --config=/etc/rsyncd.conf,并加入开机自启。

4.2 编写核心同步脚本 sync.sh

这是一个经过生产环境千锤百炼的脚本,全文 187 行,每一行都有其存在的理由:

BASH
# !/bin/bash
# sync.sh - Production-ready inotify + rsync sync script
# Author: A seasoned Linux admin who's seen too many sync disasters
 
# ========== CONFIGURATION SECTION ==========
SOURCE_DIR="/var/www/html/uploads/"
BACKUP_HOST="backup-server"
BACKUP_MODULE="web-backup" # rsync daemon module name
BACKUP_USER="rsync-user"
RSYNC_PASSWORD_FILE="/home/www-data/.rsync-passwd" # for rsync daemon auth
LOG_FILE="/var/log/sync.log"
DETAIL_LOG="/var/log/sync_detail.log"
RETRY_LOG="/var/log/sync_retry.log"
PID_FILE="/var/run/sync.pid"
 
# Inotify events to monitor (avoid ATTRIB, CLOSE_WRITE is covered by MODIFY)
INOTIFY_EVENTS="CREATE,MODIFY,MOVED_TO,DELETE,MOVED_FROM"
# File patterns to include (only images)
INCLUDE_PATTERN="\.(jpg|jpeg|png|gif|webp)$"
 
# Rsync options - the "five pillars of safety"
RSYNC_OPTS="-rlt --chmod=Du=rwx,Dgo=rx,Fu=rw,Fgo=r --delete-after --timeout=60 --bwlimit=5000 --itemize-changes --log-file=$DETAIL_LOG"
 
# ========== FUNCTION DEFINITIONS ==========
log_info() {
echo "$(date '+%Y-%m-%d %H:%M:%S') [INFO] $*" | tee -a "$LOG_FILE"
}
 
log_error() {
echo "$(date '+%Y-%m-%d %H:%M:%S') [ERROR] $*" | tee -a "$LOG_FILE" >&2
}
 
log_warn() {
echo "$(date '+%Y-%m-%d %H:%M:%S') [WARN] $*" | tee -a "$LOG_FILE"
}
 
# Check if target has enough space (at least 10GB free)
check_disk_space() {
local free_kb=$(df -k "$SOURCE_DIR" | awk 'NR==2 {print $4}')
if [ "$free_kb" -lt 10485760 ]; then # 10GB in KB
log_warn "Low disk space on source: $(df -h "$SOURCE_DIR" | awk 'NR==2 {print $4}') free"
return 1
fi
return 0
}
 
# Main sync function with retry logic
do_rsync() {
local file="$1"
local attempts=0
local max_attempts=3
 
while [ $attempts -lt $max_attempts ]; do
attempts=$((attempts + 1))
log_info "Starting rsync for $file (attempt $attempts)"
 
# For rsync daemon, we use password file and rsync:// URL
if ! rsync $RSYNC_OPTS --password-file="$RSYNC_PASSWORD_FILE" "$file" "rsync://$BACKUP_USER@$BACKUP_HOST/$BACKUP_MODULE/"; then
log_error "Rsync failed for $file (attempt $attempts)"
if [ $attempts -eq $max_attempts ]; then
echo "$file" >> "$RETRY_LOG"
log_error "Giving up on $file, added to retry queue"
return 1
else
sleep 2
fi
else
log_info "Rsync succeeded for $file"
return 0
fi
done
}
 
# ========== MAIN EXECUTION ==========
# Trap signals for graceful shutdown
trap 'log_info "Caught SIGTERM, exiting gracefully"; exit 0' TERM
trap 'log_info "Caught SIGINT, exiting gracefully"; exit 0' INT
 
# Write PID file
echo $$ > "$PID_FILE"
log_info "Sync service started with PID $$"
 
# Main loop
stdbuf -oL inotifywait -m -q -e "$INOTIFY_EVENTS" --format '%T %w%f %e' --timefmt '%Y-%m-%d %H:%M:%S' --exclude '\.(swp|tmp|log|part)$' "$SOURCE_DIR" | \
while IFS= read -r line; do
# Parse the line: "2024-05-20 14:23:01 /var/www/html/uploads/photo.jpg MODIFY"
timestamp=$(echo "$line" | awk '{print $1" "$2}')
file=$(echo "$line" | awk '{print $3}')
event=$(echo "$line" | awk '{print $4}')
 
# Skip if file doesn't match our pattern
if ! [[ "$file" =~ $INCLUDE_PATTERN ]]; then
log_info "Skipping $file (doesn't match pattern)"
continue
fi
 
# Skip if it's a directory event (we only care about files)
if [ -d "$file" ]; then
log_info "Skipping directory event for $file"
continue
fi
 
# Check disk space before syncing
if ! check_disk_space; then
log_warn "Skipping sync due to low disk space"
continue
fi
 
# Handle different events
case "$event" in
"CREATE"|"MODIFY"|"MOVED_TO")
# For CREATE/MODIFY, sync the file
do_rsync "$file"
;;
"DELETE"|"MOVED_FROM")
# For DELETE, we don't need to do anything, --delete-after will handle it later
# But we log it for audit
log_info "File deleted/moved: $file"
;;
*)
log_warn "Unknown event: $event for $file"
;;
esac
done
 
log_info "Sync service stopped"
rm -f "$PID_FILE"

4.3 部署与守护:让脚本真正“7x24 小时”运行

脚本写好了,不能直接 ./sync.sh & 就完事。那只是“后台运行”,不是“服务化”。

Step 1:创建 systemd 服务单元 在 Source 服务器上,创建 /etc/systemd/system/rsync-sync.service:

INI
[Unit]
Description=Rsync Real-time Sync Service
After=network.target
 
[Service]
Type=simple
User=www-data
WorkingDirectory=/home/www-data
ExecStart=/home/www-data/sync.sh
Restart=always
RestartSec=10
StandardOutput=journal
StandardError=journal
SyslogIdentifier=rsync-sync
 
[Install]
WantedBy=multi-user.target

Step 2:启用并启动服务

BASH
sudo systemctl daemon-reload
sudo systemctl enable rsync-sync.service
sudo systemctl start rsync-sync.service

Step 3:验证与监控

  • 查看服务状态:sudo systemctl status rsync-sync
  • 查看实时日志:sudo journalctl -u rsync-sync -f
  • 模拟一个文件变更:echo "test" > /var/www/html/uploads/test.jpg,然后观察日志,确认是否出现 Rsync succeeded for /var/www/html/uploads/test.jpg

Step 4:添加健康检查(可选但强烈推荐) 创建一个简单的健康检查脚本 /usr/local/bin/check-sync-health.sh:

BASH
# !/bin/bash
# If the PID file exists and the process is running, and last log entry is < 5 minutes old, it's healthy
if [ -f /var/run/sync.pid ] && kill -0 $(cat /var/run/sync.pid) 2>/dev/null; then
if [ $(($(date +%s) - $(date -r /var/log/sync.log +%s 2>/dev/null))) -lt 300 ]; then
exit 0
fi
fi
exit 1

然后在你的监控系统(Zabbix/Prometheus)里,把这个脚本作为一个自定义检查项。它比单纯检查进程是否存在,更能反映服务的真实健康状况。

5. 常见问题与排查技巧实录:那些年我们一起踩过的坑

再完美的方案,也会在真实世界中遇到各种意想不到的问题。下面这些,都是我在不同客户现场、不同 Linux 发行版、不同硬件环境下,亲手解决过的“经典故障”。我把它们整理成一张速查表,并附上我的独家排查思路。

问题现象 可能原因 排查命令/步骤 我的独家技巧
inotifywait 不触发,但手动 touch test.txt 后日志里有记录 inotify 的 watch 数量达到内核上限 cat /proc/sys/fs/inotify/max_user_watches
find /path -type d | wc -l
不要盲目 sysctl -w fs.inotify.max_user_watches=524288。先用 inotifywait -m -e create /tmp 测试,如果这个最简命令都不行,说明是内核或 SELinux 问题。如果行,再用 find /path -type d | head -100 | xargs -I {} inotifywait -m -e create {} 逐步增加目录数,定位是哪个目录结构太深。
rsync 同步成功,但目标端文件时间戳是当前时间,不是源端原始时间 rsync 命令里漏了 -t(preserve times)选项 stat /source/file
stat /backup/file
这个坑我栽过三次。第一次以为是 --times 选项,后来发现 -a 就包含了 -t。根本原因是:rsync daemon 模式下,-t 选项默认是关闭的! 必须在 rsync daemon 的配置文件里,为 module 加上 use chroot = no 和 read only = false,并在 rsync 命令里显式加上 --times。
同步过程中,目标端磁盘突然写满,rsync 报错 No space left on device,但 df -h 显示还有 20% 空间 Linux ext4 文件系统预留了 5% 的空间给 root 用户 sudo dumpe2fs -h /dev/sdb1 | grep -i "block count|reserved" 这是 Linux 的“安全机制”,但对 rsync 这种需要大量写入的场景是灾难。解决方案有两个:
1. 临时降低预留:sudo tune2fs -m 1 /dev/sdb1(降到 1%)
2. 永久方案:让 rsync 以 root 用户运行(不推荐),或者在备份脚本里,每次同步前先 sudo -u rsync-user df -h /backup,如果可用空间 < 10%,就发告警并暂停同步。
inotifywait 脚本运行几天后,CPU 占用率飙升到 90% inotifywait 的 -m 模式在某些内核版本下有内存泄漏 ps aux | grep inotifywait
top -p $(pgrep inotifywait)
这是 CentOS 7.6 内核的一个已知 bug。临时修复:给 inotifywait 加上 --monitor(同 -m)和 --quiet,并用 timeout 86400 包裹它,让它每天自动重启:
timeout 86400 stdbuf -oL inotifywait -m -q ...。长期方案:升级内核到 3.10.0-1160 或更高。
ssh 免密登录在命令行下好使,但在 inotifywait 触发的 rsync 脚本里提示 Permission denied (publickey) 脚本运行的用户环境变量(尤其是 $HOME)与交互式登录不同 echo $HOME (在脚本里加这行)
ls -la ~/.ssh/
最常见的原因是:脚本是以 www-data 用户运行的,但 www-data 的 $HOME 是 /var/www,而 ~/.ssh 目录在 /var/www/.ssh/ 下不存在,或者权限不对(必须是 700)。解决方案:在脚本开头,强制设置 export HOME="/home/www-data",并确保 /home/www-data/.ssh 目录存在且权限正确。

除了这张表,我还想分享一个“万能排查三板斧”,适用于所有你没见过的同步问题:

第一斧:隔离网络 在 Source 服务器上,临时停掉 rsync 命令,只保留 inotifywait。然后 touch /var/www/html/uploads/test.jpg,观察 inotifywait 的输出。如果它能正确打印出事件,说明 inotify 层是好的;如果没反应,问题就在 inotify 或文件系统层面。

第二斧:模拟命令 把 inotifywait 捕获到的完整 rsync 命令,手动复制粘贴到命令行里执行。比如,日志里显示 Rsync command: rsync -avz ... /var/www/html/uploads/photo.jpg user@host:/backup/,你就手动敲一遍。如果手动能成功,说明是脚本里的环境变量或权限问题;如果手动也失败,那就是 rsync 或 ssh 配置问题。

第三斧:开启 rsync 调试 在 rsync 命令里加上 -vvv(三个 v),它会输出最详细的连接、认证、文件列表过程。你会看到类似 opening connection using: ssh ...、sending daemon args: --server --sender ... 这样的信息。如果卡在 opening connection,就是 ssh 问题;如果卡在 sending daemon args,就是 rsync daemon 配置问题。

最后,我想说的是,技术本身没有高下,只有适配与否。rsync + inotify 这个组合,诞生于十多年前,它没有 fancy 的 Web UI,没有自动化的集群管理,但它足够简单、足够透明、足够可靠。在我维护的十几个生产环境中,它已经连续运行了超过 1200 天,平均年故障时间小于 15 分钟。这份稳定,

基于Python+Open CV的手势识别算法设计
伴随着人工智能时代的到来,人机交互的领域也逐渐成为研究的一大方向;其中,手势识别是人机交互领域的一项关键技术,自此手势识别也迎来了一波高潮,近几年无论是在消费领域、电子领域、数码领域、家电领域甚至汽车领域上,都能或多或少的见到手势识别的身影。 手势识别在设计智能高效的人机界面方面具有至关重要的作用, 目前手势识别已应用到手语识别、智能监控、到虚拟现实等各个领域,手势识别的原理都是利用各种传感器(例如红外、摄像头等)对手部的形态进行捕捉并进行建模,形成一个模型信息的序列帧,而后将这些信息序列转换为机器能够识别的相对应指令(例如打开、切换菜单、移动等)来完成控制。 采用Python的集成开发环境Pycharm进行本次课程设计,在Pycharm中进行需要库(模块)的下载,调取电脑摄像头,按帧读取摄像头采集到的头像,形态学处理,图像旋转(由于摄像头采集到的图像是镜像,需要用cv2.flip将摄像头采集到的图像进行处理),选取图片中固定位置作为手势输入,用红线画出手势识别框,基于hsv的肤色检测,进行高斯滤波,找出轮廓,求出图像中手势的凹凸点,手指间角度求取。
努力学习前端的小陈
ArcGIS Pro入门制图教程
地理信息系统 (GIS) 是一种使用地图显示和分析数据的方式。在本教程中,您将学习桌面 GIS 应用程序 ArcGIS Pro 的基础知识。新加坡的一家旅行社希望制作一款宣传册,用于向游客介绍距离市中心热门目的地最近的火车站。该宣传册将与带有文本信息的地图相结合,并在城市的自助设备中出售。您将帮助该旅行社绘制旅游景点的地图,分析其与火车站的距离以及更改地图的外观以使其在视觉上更具吸引力。在 ArcGIS Pro 中,地图和数据通常被组织在一个工程中。开始制作地图之前,您将创建一个工程。
科研online
ArcGIS Pro 布局创建与地图加载全流程解析
本文详细解析了ArcGIS Pro中布局创建与地图加载的全流程。针对从ArcMap转来的用户,重点阐述了布局与地图解耦的核心设计理念,并提供了从新建布局、设置参考比例尺、加载地图框到深度控制与精细化排版的实用技巧,帮助用户高效制作专业地图。
您的账号已被封禁
ArcGIS PRO布局视图避坑指南:地图框添加与专题图制作的5个关键步骤
本文针对ArcGIS PRO用户在布局视图中制作专题图时遇到的常见问题,提供了地图框添加与专题图制作的5个关键步骤避坑指南。从理解布局视图思维、数据框预处理、地图元素协同配置,到深化视觉层次与最终输出检查,系统讲解了如何高效产出严谨美观的专业地图,帮助用户跨越从数据分析到地图输出的最后一公里。
冰炭不同炉
ROS-CV-ImageConverter:将ROS图像转换为OpenCV(cv :: Mat)类型的图像
ROS-CV图像转换器 依存关系 cv_bridge(ROS软件包)
Willis Wang
计算机视觉图像处理-CV2与图像插值算法
用最近邻插值与双线性插值原理完成图像缩放 最近邻插值,是指将目标图像中的点,对应到源图像中后,找到最相邻的整数点,作为插值后的输。缺点:使用最近邻插值算法处理图像放大时,在图象中可能出现明显的块状效应 双线性插值,在两个方向上做三次线性插值。使用双线性插值算法处理图像放大时,在图象中可能出现马赛克 代码 import cv2 img = cv2.imread(’./xiabang.jpg’, cv2.IMREAD_UNCHANGED) #缩放比例 scale_percent = 0.3 width = int(img.shape[1] * scale_percent) height = int
weixin_38697274
基于水平集CV模型的图像分割(Matlab代码)
基于水平集CV模型的图像分割(Matlab代码),全套代码
小宇QAQ
导向滤波(guide_filter)的python实现
导向滤波(guide_filter)的python实现,可以结合暗通道;理论实现比较好的图像去噪效果。
zachzhan_g
ArcGIS Pro 如何新建布局
你是否已经习惯了在ArcGIS中数据视图和布局视图之间来回切换,到了ArcGIS Pro中却找不到二者之间切换的按钮,即使新建布局后却发现地图怎么却是一片空白。从上面的图中可以看到,虽然新建了布局,但是地图还是空白的,如果想要显示地图还需要加载一下,将地图加载进来。在新建的布局上绘制一个框,作为地图显示的范围,绘制后可以看到地图已经完成加载,如下图所示。在菜单栏上选择插入,点击新建布局下拉箭头,选择一个合适的尺寸,如下图所示。点击后完成布局的新建,新建的布局如下图所示。
水经注GIS
ArcGIS Pro数据修复与图层管理实战指南
本文是ArcGIS Pro数据修复与图层管理的实战指南。针对数据源丢失导致的“红色叹号”问题,详细讲解了一键批量修复和进阶手动修复策略,并分享了使用相对路径、打包工程等防患于未然的黄金法则。同时,深入介绍了如何利用图层组进行高效的地图内容组织、比例尺控制与批量操作,帮助用户构建清晰、智能的专业地图,大幅提升GIS项目管理效率。
Tomato
ArcGIS Pro布局设计实战:从空白页面到专业地图输出的完整工作流
本文详细解析了ArcGIS Pro中从“新建布局”开始,到输出专业地图的完整工作流。内容涵盖布局哲学、地图框深度运用、制图元素集成及视觉排版等核心环节,旨在帮助中级用户掌握项目驱动的现代化制图方法,实现从数据到出版级地图的精准转化。
AnjneyMidha
ArcGIS PRO布局视图避坑指南:地图框添加与坐标系设置的5个常见错误
本文针对ArcGIS PRO用户在布局视图中常遇的难题,重点解析了地图框添加与坐标系设置的5个常见错误。从地图框的创建逻辑、坐标系冲突的根源剖析,到地图范围控制、元素联动更新以及打印导出设置,提供了一套完整的避坑指南与实战解决方案,帮助用户高效、精准地完成地图制图与输出工作。
重离子猫猫
ArcGIS Pro布局设计避坑指南:为什么你的地图总是显示空白?
本文深入解析ArcGIS Pro布局设计中地图显示空白的常见问题,提供从基础操作到高级排错的完整解决方案。重点讲解地图框的正确使用方法、布局元素配置技巧,以及多地图框协同工作等进阶功能,帮助用户快速掌握专业地图制作的核心技术。
习翔宇
CV算法(MATLAB)
chan 和 vese 提出的经典CV模型
beastLOVE
GrabCut:使用opencv-python cv2.grabCut交互式剪切图像
GrabCut 使用opencv-python cv2.grabCut交互式剪切图像
Aaron Gary
Opencv-Python图像透视变换cv2.warpPerspective的示例
今天小编就为大家分享一篇关于Opencv-Python图像透视变换cv2.warpPerspective的示例,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
weixin_38711369
leetcodecv-Kylin:CV算法岗面经&LeetCode刷题总结
leetcode cv Kylin CV算法岗面经 & LeetCode刷题总结 不断更新中。。。。 面试&笔试经验 LeetCode
weixin_38499553
基恩士CV-X系列相机控制器用户手册CV-X Series Users Manual_CHS.pdf
基恩士CV-X系列相机控制器用户手册CV-X Series Users Manual_CHS真的很不错,
weixin_43905342
ArcGIS布局视图方向调整与优化技巧
地图布局方向是GIS制图的基础设置,直接影响空间数据的可视化效果。横向(Landscape)和竖向(Portrait)布局通过调整页面长宽比例,可优化不同地理要素的展示方式。在ArcGIS等专业制图软件中,方向设置会联动影响比例尺、图例等核心元素的自动适配逻辑。本文以A4纸张为例,详解通过页面设置、Python脚本批处理等技术手段实现布局方向的高效调整,并针对比例尺失准、图例溢出等典型问题提供工程解决方案。特别适用于带状区域地图制作等需要最大化利用版面空间的场景,可提升40%以上的图面利用率。
塞音菩光
ArcGIS Pro 3.4必学新功能:符号系统与布局视图的可见性联动(含省时技巧)
ArcGIS Pro 3.4引入了符号系统与布局视图的可见性联动功能,通过唯一值符号化和复选框控制,实现原子级要素显示/隐藏。这一创新极大提升了制图效率,支持在符号系统窗格、内容窗格和布局视图中同步操作,特别适合城市规划、环境监测等需要动态展示的场景。
t8u9v0
ArcGIS Pro 布局创建与地图加载全攻略
本文详细解析了ArcGIS Pro中布局与地图分离的设计哲学,并提供了从新建布局到加载地图的完整操作指南。重点介绍了如何通过“插入”选项卡新建布局、选择合适的页面尺寸,以及使用地图框工具将项目中的地图动态链接至布局。文章还涵盖了地图范围控制、比例尺锁定、图例添加等深度定制技巧,帮助用户高效创建专业地图并导出为高质量成果。
milk8
ArcGIS多图布局实战:从数据框管理到批量导出的完整指南
在地理信息系统(GIS)制图领域,将多张地图高效整合到单一版面是提升分析报告专业性与表现力的关键技术。其核心原理在于理解并运用数据框与布局视图的分离机制,通过独立的数据框承载不同区域或专题的地理数据,并在统一的布局视图中进行精确排版与视觉整合。这项技术的核心价值在于实现了制图流程的标准化与自动化,避免了传统拼图方式带来的效率低下与更新困难问题,尤其适用于区域对比、时间序列分析、综合评估报告等需要多视角、多维度展示地理信息的应用场景。本文聚焦于ArcGIS Pro平台,深入剖析了多图布局中数据框范围联动、地图
aaa1231722
monolithic-cv:CV算法的集合
单片-cv 计算机视觉算法转储
晨曦姜
改进的cv图像分割
改进的cv图像分割,对学习cv模型有帮助
a904235765
C++实现基于暗通道与导向滤波的图像去雾算法
资源下载链接为: https://pan.quark.cn/s/1bfadf00ae14 在图像处理领域,图像去雾技术用于消除大气散射导致的模糊,提升图像清晰度和视觉质量。本文将介绍一种基于暗通道和导向滤波的图像去雾算法,并探讨如何使用C++和OpenCV库实现。 暗通道理论由Jia等人于2006年提出。他们发现自然场景中存在一些低亮度像素,通常位于无直射光区域。这些像素被称为暗通道像素,可用于估计大气散射模型中的透射率。具体方法是将图像分块,在每块中找到最暗像素值作为暗通道像素。 大气散射模型是图像去雾的基础,描述了光线在大气中传播时的散射影响。模型公式为: I(x)=T(x)×J(x)+A×(1−T(x)) 其中,T(x)是透射率,J(x)是无雾图像亮度,A是全局大气光。透射率与散射程度成反比,无雾图像亮度反映物体本身色彩。 利用暗通道先验,可以近似估计透射率。假设D(x)为暗通道像素,透射率T(x)可通过迭代公式计算: T k+1 (x)= max(D)+ϵ D(x) +(1− max(D)+ϵ D(x) )×T k (x) 其中,k是迭代次数,ϵ是小常数,用于避免除零。 估计透射率后,使用导向滤波器平滑透射率图,减少噪声和边缘失真。导向滤波是一种自适应局部滤波方法,可保持图像边缘细节,同时进行平滑处理。在图像去雾中,它根据图像梯度信息指导滤波过程,更好地恢复图像清晰度。 通过大气散射模型,可得到去雾后的图像: J out (x)= T(x) I(x)−A×(1−T(x)) +A 在C++中,可借助OpenCV库处理图像数据。首先读取输入图像,然后提取暗通道,估计透射率,应用导向滤波,最终恢复无雾图像。OpenCV提供了丰富的图像处理函数,如cv::split用于分离通道,cv::min用于找最小值,cv::filter2D用于导向滤波,cv::imwrite用于保存
KaiyuanCode
cv模型图像分割matlab源程序
cv模型 matlab 图像分割源码,逻辑清晰,注释详尽。
phoenix01
CV图像分割
从pud找到的CV图像分割代码,代码的通过较少的迭代次数就可以实现图像的分割,对学习CV分割有帮助。
a904235765
ArcGIS Pro 3.0 布局视图实战:5分钟搞定专业地图的图例、比例尺与指北针
本文详细介绍了ArcGIS Pro 3.0布局视图的实战技巧,帮助用户在5分钟内高效添加图例、比例尺与指北针,打造专业地图。通过智能图例、动态比例尺和现代化指北针设计,提升制图效率与美观度,特别适合GIS初学者和从ArcMap迁移的用户。
weixin_30652491
ArcGIS Pro界面突然消失?3种恢复方法+自定义布局技巧
本文针对ArcGIS Pro用户常见的操作界面元素突然消失问题,提供了三种核心恢复方法:通过“视图”功能区一键唤回、利用“重置窗格”命令恢复默认布局,以及通过应用程序设置进行深度恢复。文章还深入讲解了如何通过停靠、分组窗格以及自定义功能区等技巧,打造高效个性化的操作界面,帮助用户从被动解决问题转向主动优化工作环境。
nnn11
2025.06.17【WGS】|多样品VCF文件中每个样品SNP数统计方法详解(含代码与注释)
摘要:本文介绍了一种从合并后的VCF文件中统计每个样品SNP数目的方法。通过解析VCF文件中的GT字段,排除纯合参考(0/0)和缺失(./.)的基因型,准确计算各样本的SNP位点数。文中提供了完整的Python脚本,利用bcftools工具高效处理大规模VCF文件,并支持输出SNP统计结果。该方法适用于群体遗传学和RAD-seq等高通量测序数据分析的质控环节,还可扩展为统计杂合/纯合SNP等进阶需求。脚本使用简单,只需输入VCF文件即可生成样本-SNP数目的统计报表。
穆易青