hadoop 如何自动清理产生的大量日志文件呢？

working6 2014-07-31 10:37:17

如题，我们公司的hadoop集群运行了一个月左右，产生了大量的.log和.out之类的日志问题，请问hadoop可以自动清理这些日志文件吗，我试图修改hadoop.logfile.size和hadoop.logfile.count，但是没有用，大家有什么好的办法呢？

...全文

626 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

working6 2014-08-05

打赏
举报

回复

3楼的能详细说说具体怎么配置吗为什么我配置hadoop.logfile.size和hadoop.logfile.count都没有生效呢？

qingyuan18 2014-08-02

打赏
举报

回复

默认是两个月清理一次，可以配置

working6 2014-08-02

打赏
举报

回复

1楼的除了编写shell脚本自动删除外 hadoop自身没有保留一段时间日志的功能吗？

xutao_2008_2000 2014-07-31

打赏
举报

回复

写个脚本按日期删除？

hadoop集群跑了很多的任务后在hadoop.log.dir目录下会产生大量的日志文件。

hadoop集群跑了很多的任务后在hadoop.log.dir目录下会产生大量的日志文件。可以通过配置core-site.xml文件让集群自动清除日志文件： hadoop.logfile.size 10000000 The max size of each log file hadoop.log

hadoop集群跑了很多的任务后在hadoop.log.dir 目录下会产生大量的日志文件。可以通过配置core-site.xml 文件让集群自动清除日志文件： <property> <name>hadoop.logfile.size</name> <value>10000000</valu...

文章来源：http://blog.csdn.net/cuilanbo/article/details/8482295 hadoop集群跑了很多的任务后在hadoop.log.dir目录下会产生大量的日志文件。可以通过配置core-site.xml文件让集群自动清除日志文件： [html] view plaincopyprint?

在MySQL中，可以通过设置expire_logs_days参数来自动清理过期的二进制日志。默认值为0，表示不自动清理。可以通过修改配置文件或动态设置该参数来启用自动清理功能，例如设置为7天。此外，还可以使用PURGE BINARY LOGS命令手动清理指定日期之前的日志。为确保设置生效，可以刷新日志或通过事件调度器定期执行清理任务。需要注意的是，手动清理日志时需谨慎，避免影响日志文件的匹配性。通过这些方法，可以有效管理MySQL的日志存储，避免磁盘空间被过度占用。

Hadoop生态社区

20,848

社区成员

4,696

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章