求海量数据，分析，处理 解决方案？？？？？？？？

[Reasoncool]

情况：1、每天要有上百万的的数据写入数据库（时时）2、要对数据进行汇总，分析，处理，查询。

这样速度很慢 请问高手 怎么解决此类问题

[Reasoncool]

顶

[bccu]

关注

[Teng_s2000]

1.sql优化
2.存储过程
3.服务器配置在高点

[oldcsdn]

lz 做什么应用，这多数据，要真有这样的需求，恐怕也不是单纯软件程序能解决问题的了，硬件、数据库都得跟上,还得使用负载均衡技术,恐怕lz得请一大帮专家都帮你设计解决方案、数据库方案了.

[Reasoncool]

应用数据仓库 是否可以解决？？？

[Reasoncool]

时时有大量数据 插入 对同一个数据库操作 就很慢了 甚至超时

[Reasoncool]

应该算是一个 网站统计系统 就像统计 网易 新浪 这样的门户网站流量

做年 月 日 周 小时段 地区 分析

[yan63]

通过负载平衡将用户请求分流到地区镜像，数据库使用集群来增加并发量。在数据库设计的时候考虑依照地区，时间等作横向切割，减少统计运算量

[zbdzjx]

我们公司的系统也不小,现在有9个G的数据库大小,每天增加近百兆的数据.

曾经对两个大数据量的表进行group by ,再连接,导致企业管理器和查询分析器断网.至今原因不明,只好用临时表.

[fattycat]

mark

[Reasoncool]

yan63() 说的是分布式数据库处理吧 我们公司目前要用不到

我说一下大体情况 网站做推广 网站的日流量上百万 有一天数据增加了一个多G

统计系统 马上出现zbdzjx(zbdzjx) 所说的情况 大量数据的写入 让其他查询之类的操作 不能进行

[yan63]

这么牛的网站啊，一天一个多g，是蜘蛛吗？
看看能不能在临时表中储存更新的数据，然后在某个空闲时段批量写入，对大数据量非索引字段使用group by需要大的开销，若是大数据量更新是需要频繁更新索引，那还是将索引删除后更新，然后重建索引来的核算，
对于:
2.要对数据进行汇总，分析，处理，查询。对于大数据量的是不是考虑预处理，实时还是有难度，如果采用上面的临时表缓存的策略的话。

[oldcsdn]

比较简单的方法是：
1.合量地将大数据量的表纵向或横向切分成多个数据量小的表,(如按地区，时间等,总之将同时进行关联查询操作较少的数据分散，以减轻查询负荷)
2.使用备份数据库作统计，分析。（这大的数据库不可能没有备份数据库支持），备份数据库和主数据库使用数据库技术进行同步.

[Reasoncool]

公司要的数据 是 某项目某地区某周几各个时间段的数据 不好切成各个小表吧

我有这样一个想法 大家看看 是否可行？？？

建立三个数据库
1.公用数据库（一些通用表 如iP表）
2.每天临时数据库（原始数据表和统计分析后的表）
3.汇总库 （表结构和每天临时数据库一样）

每天定时从临时数据库中追加昨天的数据到汇总库，追加完毕后，删除临时数据库中昨天的数据。 如此循环下去

[zhaozhao110]

可考滤一下搜索引擎的理论,用分词......