发布一个自动清除过期文件的脚本

[kestudio123]

最近要做系统的部署，在机器上运行大量的java程序，而且机器要放在一个地方跑，不能经常维护。

程序不具备自动删除日志功能，而空间非常小，往往过几天一有异常，就出现爆机的现象。

所以下定决心，决定写一个自动删除过期文件的脚本。脚本要求简单，通用，容易控制，对系统100%没有依赖性！！！！总之是绝对是轻量级的要求。

原理如下：通过find命令查找指定目录下一定天数以前的文件，然后清楚。脚本读取配置后在后台跑，一天执行一次。

由于CSDN好像上传不了附件，我这里简单贴出代码，当做分享

这小型程序住包括三个文件，还有一个使用说明，放在自定义的一个目录下就可以了（比如叫做/opt/auto_clean）


主程序：auto_clean.sh
目标目录配置文件：path_list.txt
用后台方式启动主程序：start_background.sh

auto_clean.sh------主程序

#!/bin/sh
##########################################################

### this program will check up outdate files every day ##

##########################################################
time=`date "+%y-%m-%d %H:%M:%S"`
echo -------start in $time------- >> ./log.txt

### ----------如果天数没设定,那么默认为五天-------#####

while true;do
while read var_a var_b;do
if [ ! $var_b ]; then
var_b=5;
fi
outdate_files=`find $var_a -type f -maxdepth 1 -mtime +$var_b`
for name in $outdate_files;do
time=`date "+%y-%m-%d %H:%M:%S"`
echo $time $name >> ./log.txt 2>&1
rm -f $name >> ./log.txt 2>&1
done;
done < ./path_list.txt
sleep 1d
done;



path_list.txt-----读取的目标目录配置文件，根据需要自行修改

/opt/mcq/daemons/tcs/log 5
/opt/mcq/daemons/rem/log 5
/opt/mcq/daemons/rtmm/log 5
/opt/mcq/daemons/rem/log 5
/opt/mcq/daemons/autofind/log 5
/opt/mcq/daemons/dysync/log 5
/opt/mcq/servers/jboss-6.0.0.Final/server/abc/log 5
/opt/mcq/servers/jboss-6.0.0.Final/server/bcd/log 5
/opt/mcq/servers/jboss-6.0.0.Final/server/efg/log 5
/opt/mcq/servers/jboss-6.0.0.Final/server/hij/log 5



auto_clean.sh-------用于让自动清除任务挂在后台的时候执行的脚本，一般都是通过此脚本来启动整个程序的


#!/bin/sh
echo ""
echo "The watching directorys........."
echo ""
while read var_a var_b;do
echo $var_a
done < ./path_list.txt
echo ""

./auto_clean.sh &


好了，接下来就要叫大家怎么使用了。至于如何填写配置文件，和如何做到快速定位在一个目录下的所有目录中的日志文件所在，我们可以查看里面的readme.txt文件


readme.txt


----------------------------------------------------------
path_list.txt中填写要自动目录下删除过期文件的目录（绝对路径）

格式为（绝对路径+ 保留天数）：

目录a 5
目录b 4
目录c 5

如果天数没设定,那么默认为五天

example：

可以用命令（思路是找到一个大目录下所有以"log"命名的文件夹）
find /opt/edsp -name "log" -exec echo {} 5 \;
来找到要监视的日志目录列表

一般情况是是，程序已经运行，log目录已经生成，否则找不到。

-----------------------------------------------------------


配置完成后，启动start_background.sh，就会通过"ps aux"命令在进程中看到它的身影

如果需要关闭清除文物，只需要"ps aux|grep auto_clean"一下找到它,kill掉就行了




可以配合开机启动，修改/etc/rc.local文件，加入
（假设程序包目录是在 /opt/auto_clean）

su -c root "cd /opt/auto_clean;./start_background.sh"

这一行即可。要cd是因为start_background.sh启动的时候要在当前目录才能找到auto_clean.sh这个文件


本脚本经过稳定的测试，能够长期运行流畅。希望在这里跟大家分享，可以在工作上帮上忙

[mayer]

我顶，lz猛人啊

[Linux-Torvalds]

引用

脚本读取配置后在后台跑，一天执行一次。

好好的crontab不用。

[kestudio123]

发现原来帖子那里有个错误，修改不了。是第三个文件的名字不是auto_clean.sh，而是start_background.sh. 抱歉，发帖的时候竟然没有发现这个错误，实在是不应该。

[ljc007]

是否考虑过目录名包含空格的情况？

[kestudio123]

引用 4 楼 linwhwylb 的回复:

引用脚本读取配置后在后台跑，一天执行一次。好好的crontab不用。

我上面提到过——就是要求轻量级，可以在任何机器上快速部署，快速撤离，而且不影响原来系统的全局配置文件，不要求使用root权利。我有自定义的配置文件，可以帮助不专门研究shell的人也可以快速入门配置啊。这个是我的初衷。 而且，你说的crontab原理上只是定时啊，并没有甄别那些事过时文件啊。甄别过时文件的代码还是得自己写。这个原理其实就是用crontab定时跑我的auto_clean.sh脚本，而我的原理只不过是用我的start_background.sh跑我的auto_clean.sh。原理大同小异。 况且，如果要停止的话，crontab可能会影响到别的服务。而这个脚本只需要找到进程号杀掉就可以了。实现了比较好的分离。 虽然你说的只能隔着一天，没有实现说定时一天的什么时候，这是个小问题，也可以在启动的时候延迟多少秒执行start_background.sh就可以了。 希望我的解释你可以接受

[mcsafe]

无比佩服吖，百忙中你还有时间整出这么一套东西。 搞得太复杂了吧。

[kestudio123]

引用 7 楼 mcsafe 的回复:

无比佩服吖，百忙中你还有时间整出这么一套东西。 搞得太复杂了吧。

忙就是不忙，平时的话做好研究，到用的时候就要拿得出手的东西，能快速解决问题的东西，这样老板才会看得起我啊。

[mcsafe]

find /abc -mtime +30 -name "1_*.dbf" -exec rm {} \; 如果需要备份的话，把Find结果先压备，

[kestudio123]

引用 9 楼 mcsafe 的回复:

find /abc -mtime +30 -name "1_*.dbf" -exec rm {} \; 如果需要备份的话，把Find结果先压备，

你这命令完全是删除作用哦，看不出任何你所说的“压备”哦