62,046
社区成员
发帖
与我相关
我的任务
分享iis日志海量数据时如何处理的？一天有100多万条
比如像51.la的统计分析的网站，按日、月、年这样统计，岂不是要把上亿条的数据放一起统计，为什么访问还那么快呢？是如何做到的，求高手给出解决方案？
...全文
请发表友善的回复…
发表回复
笨笨兔兔兔兔兔 2009-12-02
- 打赏
- 举报
新浪用nilson....
windstore 2009-11-24
- 打赏
- 举报
meiren guanzhu?
windstore 2009-11-18
- 打赏
- 举报
呵呵。很多时候还需要我们软件工程师来做~
zzxap 2009-11-17
- 打赏
- 举报
表分区。DBA做的事情
windstore 2009-11-17
- 打赏
- 举报
一般来讲，是不是大网站都有这样的日志分析系统呢？
个人觉得这个用户跟踪还是蛮有价值的~ 不知道像新浪这些大网站如何处理的~
个人觉得这个用户跟踪还是蛮有价值的~ 不知道像新浪这些大网站如何处理的~
笨笨兔兔兔兔兔 2009-11-17
- 打赏
- 举报
[Quote=引用 6 楼 zhnzzy 的回复:]
无非是分表了怕他慢
[/Quote]
分表也有很多的方案的....还有各种的缓存技术,部分索引技术,当然这种优化也要看成本......如果是
大并发量的网站,那太复杂了...
无非是分表了怕他慢
[/Quote]
分表也有很多的方案的....还有各种的缓存技术,部分索引技术,当然这种优化也要看成本......如果是
大并发量的网站,那太复杂了...
zhnzzy 2009-11-17
- 打赏
- 举报
无非是分表了怕他慢
zhnzzy 2009-11-17
- 打赏
- 举报
这上亿条数据肯定是需要去检索的,怎么弄也免不了
笨笨兔兔兔兔兔 2009-11-17
- 打赏
- 举报
[Quote=引用 2 楼 windstore 的回复:]
但是这样的需求，比如查询这一年中，某个用户(ip)一共访问了多少次.这样就不得不链接一年中所有的分区表了。这样速度还是很慢吧，因为一年的数据量很大的
[/Quote]
这个跟业务相关了....
比如你们的索引用ip机制的话,这样就可以在这个意义上做统计
只要非即时的就好
还有你要记住了,所有的优化都离不开业务需求
但是这样的需求，比如查询这一年中，某个用户(ip)一共访问了多少次.这样就不得不链接一年中所有的分区表了。这样速度还是很慢吧，因为一年的数据量很大的
[/Quote]
这个跟业务相关了....
比如你们的索引用ip机制的话,这样就可以在这个意义上做统计
只要非即时的就好
还有你要记住了,所有的优化都离不开业务需求
windstore 2009-11-17
- 打赏
- 举报
高手哪去了？
windstore 2009-11-17
- 打赏
- 举报
但是这样的需求，比如查询这一年中，某个用户(ip)一共访问了多少次.这样就不得不链接一年中所有的分区表了。这样速度还是很慢吧，因为一年的数据量很大的
笨笨兔兔兔兔兔 2009-11-17
- 打赏
- 举报
这不就是海量数据分析么??无非就是按时分析,而不是时时分析,或者是增量时时分析
加一定量的缓存,这样效率并不差
只有时时分析的情况才有问题...
加一定量的缓存,这样效率并不差
只有时时分析的情况才有问题...
