大量日志按照时间聚合计数应该用什么架构？

Darcy杨 2015-06-25 02:37:48

输入: Kafka，内容是nginx日志，毫秒级，来自多个nginx服务器，所以基本按照时间顺序，但不是严格有序

处理: 这里应该用什么技术???

输出: 文本，格式为 URL 时间(分钟单位) 访问次数

刚接触这方面的东西，完全没思路，求指点，拜谢～

...全文

437 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

Darcy杨 2015-06-25

打赏
举报

回复

补充，日志解析什么的完全不是问题，重点是用什么技术聚合，每分钟一个计数

elasticsearch-2.3.3 官方版本

SQL教程 PPT版 0积分才是分享的真理

千万级数据，如何做系统架构？亿级数据，如何做系统架构？千万级流量，如何做系统架构？亿级流量，如何做做系统架构？高并发系统，如何架构？

你是否在Web上传组件开发中遇到过这些问题？生产环境错误难以复现、用户操作轨迹无法追踪、性能瓶颈定位困难？WebUploader日志系统通过模块化设计与分级日志方案，为文件上传场景提供了完整的可观测性解决方案。本文将深入剖析其架构设计，帮助开发者掌握前端日志系统的实现精髓。读完本文你将获得： - WebUploader日志系统的模块化架构设计思路 - 分级日志的实现方案与应用场景 - 日志聚合...

在Android系统开发和调试过程中，日志管理是至关重要的环节。KernelSU作为基于内核的root解决方案，提供了完善的日志系统来帮助开发者监控系统行为、诊断问题并优化性能。本文将深入探讨KernelSU的日志聚合机制，展示如何构建集中式日志管理系统。 ## KernelSU日志系统架构 KernelSU采用分层日志架构，从内核空间到用户空间实现了完整的日志收集管道： ```mermai...

高性能计算

2,408

社区成员

1,025

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章