求教统计系统查询慢报错的问题

itliyi 2013-05-29 05:58:19
我司有一个站点流量统计分析的系统,该系统类似CNZZ统计。 最近由于有一个统计站点平均日访问量4万多,在查询该站点最近7天的统计(30W左右数据)时,速度很慢,查询到大约90秒就会报错。
系统功能:最近7天,最近一个月内的统计数据查询后按照日期汇总和日期小时段分组汇总,并将小时段分布数据用柱状图表显示


系统是用360浏览器打开,报错提示:


该统计系统和其他系统共用一台服务器,服务器的内存为4G。统计系统在查询大数据报错后已经优化过2次,但是效果不理想,还是报错。
系统开发人员解释系统报表系统加载速度慢的问题,主要性能瓶颈出现在数据库上。对于系统层面的算法上基本已经是最优化了。SQLServer产品在对于上几十万上百万级的数据处理时,其相对于Oralce性能相对有些吃力。
问题:
1、根据以上说明的情况,该系统的算法是否真的已经处于最优化状态?
2、SQLServer查询几十万级数据并通过报表显示统计结果,最慢不会超过多少时限?

有什么优化方法,可以使大数据查询速度快
thks
...全文
289 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
微观技术 2013-06-17
  • 打赏
  • 举报
回复
可以研究下hadoop,利用数据库sql来做dw数据统计事情,明显不对路
wzycrr 2013-06-17
  • 打赏
  • 举报
回复
哈,感觉像架构师考题,我来学习学习
oh_Maxy 2013-05-29
  • 打赏
  • 举报
回复
业务逻辑方面的排查: 1. 数据查询一定要使用索引 2. 减少级联查询 数据库维护、设计建议 1. 定期进行数据表高优:update statistics high for table tableName;(此操作很耗时,建议夜晚操作) 2. 如果可能,可以进行分表处理(例如同样的表t,数据量太大,就拆分成表结构相同的t1、t2,然后分奇数偶数存储,甚至分n个表取余数判定存储,不过这样要消耗业务逻辑的性能,不到万不得已不要使用此方法)

25,985

社区成员

发帖
与我相关
我的任务
社区描述
高性能WEB开发
社区管理员
  • 高性能WEB开发社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧