Linux运维:inotify+rsync实现实时监控备份
ahcoder 2025-01-18 17:06 9 浏览
inotify+rsync简介
inotify 仅支持 2.6.13 以上内核,当然现在基本上都是2.6.13以上的,除非真的很旧的系统。不放心的可以自已`uname -r`查看你的内核。也可在查看 ll /proc/sys/fs/inotify/ (系统不同,路径也不同)是否有三个文件,如果有表明内核支持 inotify。
inotify 可以监控文件,也可以监控目录。当监控目录时,它可以同时监控目录及目录中的各子目录及文件的。所以用 rsync + inotify 的方法监控web服务器或者nfs存储服务器,inotify只要发现有变化,通过rsync将文件同步至备份服务器。但缺点是rsync同步时同步整个目录(遍历效率低)。因此还有另外一种rsync+sersync架构。
sersync是基于inotify开发的工具,rsync+sersync可具体监控到每个文件夹的某个文件的名字,所以rsync同步时,只需要同步改变的某个文件,无需同步整个目录。
当同步的目录数据量不大时,建议使用rsync+inotify
当同步的目录数据量很大时(几百G甚至1T以上)文件很多时,建议使用rsync+sersync
rsync+inotify 搭建请参考另一篇:rsync+sersync实时同步
测试环境介绍:2台机器,系统Linux(centos 7)
nfs存储共享服务器 ip:172.16.2.3 (已安装nfs,rsync)
rsync备份服务器 ip :172.16.2.4(已安装rsync)
要求:inotify+rsync监控nfs服务器 /www 目录,在更新或修改文件后,同步至rsync备份服务器 /backup/web 目录。
nfs存储共享服务器搭建参考:Linux搭建NFS存储共享服务器
rsync备份服务器搭建参考:Linux搭建rsync备用服务器
一 :inotify的安装与使用
1):在nfs服务器上yum直接按照 inotify-tools
没有没有安装epel-release第三方源,是没法直接yum安装的。
还没有安装的直接先 yum install -y epel-release 即可。
然后yum 安装inotify-tools。
yum install -y inotify-tools
2):测试inotify是否启动
监控/www目录创建选项,并以年月日时分显示所创建的文件。
打开另外会话窗口2,在会话2中依次创建bbb.txt,ccc.txt, ddd.txt文件。
在原会话窗口1可看到已成功监控到创建了文件。
inotifywait -mrq --timefmt '%Y-%m-%d %H:%M' --format '%T %w%f' -e create /www
inotify之inotifywait命令详解
参数详解:
-r:递归查询目录
-q:打印监控时间信息
-m:始终保持时间监听状态
--excludei: 排除文件或目录时,不区分大小写。
--timefmt: 指定时间输出的格式
--format: 打印使用指定的输出类似格式字符串
a、 %w:显示被监控文件的文件名;
b、 %f:如果发生某事件的对象是目录,则显示被监控目录的名字;默认显示为空串;
c、 %T:使用--timefmt 选项中自定义的时间格式;
d、 %e 表示发生的事件
e、 %Xe 事件以“X”分隔
-e:指定需要监控的事件
access: 文件或目录被读取
modify: 文件或目录内容被修改
attrib: 文件或目录属性被改变
close: 文件或目录封闭,无论读/写模式
open:文件或目录被打开
move_to:文件或目录被移动到另外一个目录
move:文件或目录被移动另一个目录或从另一个目录移动到当前目录
create:文件或目录被创建在当前目录
delete:文件或目录被删除
unmount:文件系统被卸载
常用组合:close_write,modify,delete,create,attrib
二:编写监控脚本
1):输入脚本内容:
vim inotify.sh
最基本的脚本内容用无限循环即可,当/www目录发现有增删改时,实行将/www所有文件同步至备份服务器。最基础的脚本,后续可自行优化,分别对文件夹文件的增、删、改对不同的条件执行即可。
#!/bin/bash
/usr/bin/inotifywait -mrq '%w%f' -e close_write,modify,delete,create /www \
| while read line
do
rsync -avz /www/ rsync_backup@172.16.2.4::backup/ --password-file=/etc/rsync.password >/dev/null 2>&1
done
exit 0
2):执行脚本测试
chmod +x inotify.sh
#对脚本添加执行权限
sh inotify.sh &
#运行脚本监控/www
sh inotify.sh & 脚本后面加上& 为后台执行,结束用pkill或者kill直接杀死即可,
用 ps -ef|grep inotify 查看脚本是否运行。
脚本已经在后台运行:
在nfs服务器目录 /www 创建{1..6}.txt,6个文件。
并在rsync服务器查看是否有文件同步过来。
touch /www/{1..6}.txt
#在NFS服务器上上创建文件进行测试
ll /backup/web
#rsync备份服务上查看是否备份成功
查看备份服务器目录文件已经同步过来,已同步成功...
3):脚本设置开机启动
最后将脚本加入rc.local 文件,开机启动即可。
echo "/bin/bash inotify.sh &" >> /etc/rc.local
#设置开机启动
三:修改inotify默认参数(可选)
inotify默认内核参数值太小,分别就是
查看系统默认参数值
sysctl -a | grep max_queued_events
结果是:fs.inotify.max_queued_events = 16384
sysctl -a | grep max_user_watches
结果是:fs.inotify.max_user_watches = 8192
sysctl -a | grep max_user_instances
结果是:fs.inotify.max_user_instances = 128
修改参数命令
sysctl -w fs.inotify.max_queued_events="99999999"
sysctl -w fs.inotify.max_user_watches="99999999"
sysctl -w fs.inotify.max_user_instances="65535"
并在sysctl.conf文件添加以下内容
vi /etc/sysctl.conf
内容如下:
fs.inotify.max_queued_events=99999999
fs.inotify.max_user_watches=99999999
fs.inotify.max_user_instances=65535
保存退出完成。
参数说明:
max_queued_events:
inotify队列最大长度,如果值太小,会出现"** Event Queue Overflow **"错误,导致监控文件不准确
max_user_watches:
设置inotifywait或inotifywatch命令可以监视的文件数量(单进程)
max_user_instances:
每个用户创建inotify实例最大值
【inotify在实际生产环境中,对于50-200KB的文件,inotify的最发并发量为200-300,如果客户端写入速度大于这个量,将会造成短暂的延迟】
相关推荐
- KaOS 2025.05版本发布:全面拥抱Qt6,彻底告别Qt5
-
KaOSLinux2025.05版本重磅发布:全面拥抱Qt6,开启KDE生态新篇章继2025.03版本发布两个月后,专注于KDE桌面环境、采用XFS文件系统的滚动发行版Li...
- 基于FIMC接口的CMOS摄像头驱动分析与设计
-
摘要:目前的嵌入式系统中,USB摄像头使用比较普遍,但其应用会受到传输速度的限制。本文采用一款高速CMOS摄像头,其驱动利用S3C6410内置的FIMC接口技术,采用DMA和ping-pong缓冲...
- 没错是微软 推出基于Linux的交换机系统
-
2015-09-2205:59:59作者:郑伟你没看错,为了提升自身Azure云数据中心内网络设备的兼容性及开放性,微软也开始推出基于Linux的网络交换机系统了。这个被称为AzureCloud...
- Linus Torvalds 宣布首个 Linux 内核 6.16 候选版本
-
Linux内核负责人兼创始人LinusTorvalds宣布关闭合并窗口,该窗口用于将主要新功能添加到内核中,并开始发布Linux6.16候选版本,从候选版本1(Linux6.16-r...
- Linux内核漏洞将影响Haswell架构服务器
-
在infoq网站上,GilTene最近报告一个十分重要,但并不为人知Linux内核补丁,特别对采用Haswell架构的Linux系统用户和管理员应该特别关注。报告提醒RedHat发行版的用户(包括...
- 关于Linux性能调优中网络I/O的一些笔记
-
写在前面和小伙伴分享一些Linux网络优化的笔记,内容很浅,可以用作入门博文内容结合《Linux性能优化》读书笔记整理涉及内容包括常用的优化工具(mii-tool,ethtool,ifconfig,i...
- 国产操作系统- Veket Linux(国产操作系统之光银河麒麟阅读理解)
-
VeketLinux是一个随身的可装在U盘的Linux操作系统。主要面向桌面用户。它的设计重点是提供简单易用且稳定的操作系统,同时保持更新和开发。它具有强大的功能集和广泛的用户基础,可满足...
- AlmaLinux 9.6发布:升级工具、初步支持IBM Power虚拟化技术
-
IT之家5月21日消息,科技媒体linuxiac昨日(5月20日)发布博文,报道称代号为SageMargay的AlmaLinux9.6发行版已上线,距上一版本9.5发...
- 跟老韩学Linux运维架构师系列,vim与view的基本使用
-
下面是vim和view的10个实例:用vim打开一个新文件:vimnewfile.txt这个命令将会在vim编辑器中打开一个新文件。在vim中移动光标:使用方向键或h、j、k、l键来移动光标。在v...
- malloc底层原理剖析——ptmalloc内存池
-
malloc底层为什么是内存池malloc大家都用过,其是库函数。我们都知道库函数在不同的操作系统中其实执行的是系统调用,那么malloc在Linux上执行的是哪个系统调用呢?brk()和mmap()...
- Zen 6架构首秀Linux,AMD加速下一代处理器布局
-
IT之家5月15日消息,科技媒体Phoronix昨日(5月14日)发布博文,报道称AMD已经开始为下一代“Zen6”处理器做准备,已为该构架向Linux内核提交了首个补丁,...
- 为何越来越多企业转向安卓/Linux工业平板电脑?答案在这里
-
在工业领域,设备的稳定性至关重要,尤其是工业平板电脑,常年运行在高温、粉尘、潮湿等复杂环境下,一旦系统崩溃或者卡顿,可能会影响整个生产流程。那么,为什么越来越多的企业选择安卓/Linux工业平板电脑,...
- 从3ms到0.8ms:ARM+Linux如何重塑工业控制实时性标杆
-
在智能制造领域,产线控制系统对实时性的要求越来越高。根据行业调研数据,超过65%的工业现场出现过因系统响应延迟导致的故障停机,平均每次停机造成的直接损失高达2-8万元。传统x86架构搭配Windows...
- 看Linux如何"挖坑种树"
-
写在前面,有人看我的Linux文章说技术难度不深,笔者不是不想写深,笔者是觉得Linux难就难在入门,入门之后你就知道如何上网查询你所要要解决的Linux需求。如果你已入门,此文已对你无用,请略过此...
- AlmaLinux 9.6 发布,新增功能亮点纷呈!
-
距离上一版本AlmaLinux9.5发布六个月后,基于5.14内核的AlmaLinux正式宣布其企业级Linux发行版的9.x系列第六个更新——AlmaLinux9.6(Sag...
- 一周热门
- 最近发表
-
- KaOS 2025.05版本发布:全面拥抱Qt6,彻底告别Qt5
- 基于FIMC接口的CMOS摄像头驱动分析与设计
- 没错是微软 推出基于Linux的交换机系统
- Linus Torvalds 宣布首个 Linux 内核 6.16 候选版本
- Linux内核漏洞将影响Haswell架构服务器
- 关于Linux性能调优中网络I/O的一些笔记
- 国产操作系统- Veket Linux(国产操作系统之光银河麒麟阅读理解)
- AlmaLinux 9.6发布:升级工具、初步支持IBM Power虚拟化技术
- 跟老韩学Linux运维架构师系列,vim与view的基本使用
- malloc底层原理剖析——ptmalloc内存池
- 标签列表
-
- linux 远程 (37)
- u盘 linux (32)
- linux 登录 (34)
- linux 路径 (33)
- linux 文件命令 (35)
- linux 是什么 (35)
- linux 界面 (34)
- 查看文件 linux (35)
- linux 语言 (33)
- linux代码 (32)
- linux 查看命令 (33)
- 关闭linux (34)
- root linux (33)
- 删除文件 linux (35)
- linux 主机 (34)
- linux与 (33)
- linux 函数 (35)
- linux .ssh (35)
- cpu linux (35)
- 查看linux 系统 (32)
- linux 防火墙 (33)
- linux 手机 (32)
- linux 镜像 (34)
- linux ip地址 (34)
- linux 用户查看 (33)