hadoop如何清理系统日志

tubertan 2017-08-24 12:41:44

hadoop运行时会产生大量日志文件，如何配置定期清理？

...全文

2157 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

### Hadoop Hadoop是一个开源框架，由Apache软件基金会开发，用于在普通硬件集群上存储和处理大量数据。它的核心组件包括： 1. **Hadoop Distributed File System (HDFS)** - 一个分布式文件系统，设计用于在多个服务器上存储大量数据，提供高吞吐量的数据访问。 2. **MapReduce** - 一个编程模型和软件框架，用于在Hadoop集群上进行并行处理和分析大规模数据集。 Hadoop的特点： - **可扩展性**：可以处理PB级别的数据。 - **可靠性**：通过数据复制（默认为3份）来保证数据的持久性和容错性。 - **成本效益**：可以在商用硬件上运行，降低成本。 - **支持多种数据源**：可以处理结构化、半结构化和非结构化数据。

基于之前“搭建hadoop-1.2.1环境”搭建的hadoop环境，运行wordcount例子

人工智能-Hadoop

提供了安装hadoop源码安装步骤、文档、安装包，只需要按照步骤做，就能完成。注意上面所有安装步骤都必须实现，及maven远程仓库配置。

本文档列出了hadoop的常用配置说明，对hadoop的学习很有帮助。

数字化企业云平台论坛

213

社区成员

64

社区内容

发帖

与我相关

我的任务

产品运营运维技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章