大量日志分析的问题，求方法，面试中问到的

天下有爽 2012-09-20 04:28:06

对一个服务器日志的分析
日志里面记录了IP登陆信息，信息内容有时间和IP地址。现在要统计
1）每一天登陆次数最多的1000个ip。以登陆次数为序，从高到低排序
2）　每一周登陆的最多的１０００个ip。以登陆次数为序，从高到低排序
每一天大概有10亿条IP信息记录

如果面试中问道这种问题，该怎么回答？

...全文

416 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

Alex20150716 2012-09-26

打赏
举报

回复

这是干神马，查神马啊。友情帮顶！！！

大叔obnijeh 2012-09-26

打赏
举报

回复

困了，睡个午觉。

navylhw 2012-09-26

打赏
举报

回复

写一个 mapreduce程序，找出 topK 就可以了吧，网上有源码的，为了提高速度，你可以重载一些解析函数

追夢人2021 2012-09-20

打赏
举报

回复

沙发，我也很想知道答案，关注中。。。。。

ELK 是一个开源的日志分析平台，由三个开源软件组成：Elasticsearch、Logstash 和 Kibana。它可以帮助开发人员和运维人员对日志进行收集、处理、存储、搜索、分析和可视化。Elasticsearch 是一个分布式搜索和分析引擎，可以快速地存储、检索和分析大量数据。它使用 JSON 文档来存储数据，并提供了基于 RESTful API 的查询接口。Logstash 是一个强大的日志收集和处理器，可以接收、解析、转换和传输日志数据。

引言有的面试会被问到有没有写博客，这时候我尴尬，不知道怎么回答，所以这篇文章仅仅是把我面试JAVA的遇到的问题记录下来而已，也算是我写博客迈出的第一步，起码，以后被问到：有没有写博客？我可以回答，我写过。（最主要的是以后换工作我不用频繁百度常见面试题了。。。。） ps 1，别把我太当回事，我是个LJ； 2，说得不对的地方请多多包涵，想看更详细的请百度官方文档和其他大佬的文章； 3，如果有被问到......

算法面试必备-----数据分析常见面试题算法面试必备-----数据分析常见面试题统计学问题问题：贝叶斯公式复述并解释应用场景问题：朴素贝叶斯的理解概率问题问题：扑克牌54张，分成2份，求这2份都有2张A的概率数据库问题问题：left join,right join,inner join,full join之间的区别？问题：having和where的区别？问题：mysql中设置row number问题：如何写SQL求出中位数平均数和众数（除了用count之外的方法）机器学习问题问题：如何避免决策树过拟合？问题

面试中如果被问到项目遇到的难题如何解决

ELK 是一个开源的日志分析平台，由三个开源软件组成：Elasticsearch、Logstash 和 Kibana。它可以帮助开发人员和运维人员对日志进行收集、处理、存储、搜索、分析和可视化。Elasticsearch 是一个分布式搜索和分析引擎，可以快速地存储、检索和分析大量数据。它使用 JSON 文档来存储数据，并提供了基于 RESTful API 的查询接口。Logstash 是一个强大的日志收集和处理器，可以接收、解析、转换和传输日志数据。

7,394

社区成员

6,741

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章