怎么处理100万条数据,让cpu得利用率不高,而且速度优良,大家讨论.参与者有分,分不够在加

太空11 2006-04-21 08:32:44

我处理100万条数据,这里我要判断数据的连续性,即两条数据存储时间不超过30秒认为是连续的,
我要判断这100万数据中有多少段是连续的,每一段连续的数据时间有长度,这个怎么判断速度最快,cpu得占用率最低.

数据库 access 每天一个数据库表,一个数据表中一天存入的数据大约100万条左右,现在用时间作索引,运行环境win2000,但是找到任何一个时间段都是要一条一条数据进行处理,处理一遍大约要在几分钟左右,怎么样加速运算速度,并且降低cpu的利用率.

我根据数据的存入时间,判断数据是否连续,我怎么能迅速的判断出连续数据的段数,以及起始时间,结束时间.

...全文

381 17 打赏收藏转发到动态举报

写回复

用AI写文章

17 条回复

切换为时间正序

请发表友善的回复…

发表回复

47522341 2006-04-22

打赏
举报

因为当你在字段上执行函数的时候，查询优化器将无法做出正确的判断，所以将不会去按照你的设想去扫描索引，而仍然是去扫描你的物理表格。
或者你可以用索引提示强制优化器在生成执行计划表时将表的访问方式从全表扫描改为索引范围扫描；

47522341 2006-04-22

打赏
举报

按照楼主的处理方式；
因为你要对日期字段执行函数处理；这样的话你建立了索引也不好使；照样需要扫描表格去逐条检索符合条件的记录；

47522341 2006-04-22

打赏
举报

将功能分解
表里加个字段表示本条数据存储与上条数据存储的时间间隔
这样就可以将计算分解到存储时执行；

Rubi 2006-04-21

打赏
举报

关注，这有点意思，没有接触过
------------------------------------
体验速度,体验CSDN论坛助手:http://community.csdn.net/Expert/TopicView.asp?id=4700683

2312 2006-04-21

打赏
举报

用sql存储过程吧,access 也可以用存储过程,再配合多线程,分页显示,加sql过滤,没有用的就别提出来了,其实有时候不是用一中方法好,而是配合用几种方法.

aiunong 2006-04-21

打赏
举报

学习 + up

太空11 2006-04-21

打赏
举报

应该说是42个分站

太空11 2006-04-21

打赏
举报

不是五个点最多可能42个点一个点又分成6个采集数据区即最多有252个点

hxshaou 2006-04-21

打赏
举报

开线程，分段做

dabaicai 2006-04-21

打赏
举报

如果就5个点的话开线程做，应该占不了多少资源吧

dabaicai 2006-04-21

打赏
举报

是不是一共就5个点？

太空11 2006-04-21

打赏
举报

1 10:10:10
2 10:10:10
3 10:10:10
4 10:10:10
5 10:10:10
1 10:10:20
2 10:10:20
3 10:10:20
4 10:10:20
5 10:10:20
1 10:10:30
2 10:10:30
3 10:10:30
4 10:10:30
5 10:10:30
数据格式是这样的，我现在就是在数据表中提取出1这个点是不是连续的，不连续的话分为多少段，起始时间，结束时间 2这个点是不是连续的，不连续的话分为多少段，起始时间，结束时间3，4，5 是同样的操作过程

lcf79001 2006-04-21