怎么处理100万条数据,让cpu得利用率不高,而且速度优良,大家讨论.参与者有分,分不够在加

太空11 2006-04-20 06:14:25

我处理100万条数据,这里我要判断数据的连续性,即两条数据存储时间不超过30秒认为是连续的,
我要判断这100万数据中有多少段是连续的,每一段连续的数据时间有长度,这个怎么判断速度最快,cpu得占用率最低.

...全文

532 21 打赏收藏转发到动态举报

写回复

用AI写文章

21 条回复

切换为时间正序

请发表友善的回复…

发表回复

XXSingle 2006-04-26

打赏
举报

加个sleep(100)就不会占100%了

MEFULEU 2006-04-26

打赏
举报

板凳学习!~

仙侣步惊云 2006-04-24

打赏
举报

数据处理的速度既与算法又有数据库性能有关系,特别在数据量非常庞大的时候。
既然这么大的数据量，你怎么想起用access呢？推荐你使用sql anywhere 9，这种数据库性能常好，功能和性能不亚于sql server

victor_rsl 2006-04-22

打赏
举报

数据库 access 每天一个数据库表,一个数据表中的数据大约100万左右,现在用时间作索引,运行环境win2000,但是找到一个时间段都是要一条一条数据进行处理,处理一遍大约要在一分钟左右,怎么样加速运算速度,并且降低cpu得利用率.
=================================================================================
转到sqlserver,然后建个全文索引，cpu 也就30%以下,我的网站有数据180多万速度都很快

太空11 2006-04-21

打赏
举报

但是要是知道每一段的数据连续性就得每一条数据都要检测而且cpu得利用率为100％同时别的程序处理速度将减慢。

jakefj 2006-04-21

打赏
举报

建立视图把要的字段全抓出来然后在前台牺牲内存换速度在前台做运算.
不过你要用_Recordset来做.
因为用_Recordset就不会再去检查Ado的数据验证.
这样速度比在存储过程还快且不会占用服务器的CPU和内存.

yyjzsl 2006-04-21

打赏
举报

偶来顶下

太空11 2006-04-21

打赏
举报

不是五个点最多可能42分站一个分站又分成6个采集数据区即最多有252个点

ltysunde 2006-04-21

打赏
举报

猜想你的表结构是让你处理起来最麻烦的事。
所以有必要去改进一下表结构。当然采用SQL数据库是最好的。
改了表结构，添加数据的软件也得相应作下调整。
添加数据和你查询，应该是一个整体只有相互合作才能达到互优。

++++++++++++++++++++++++++++++++++++++++
field,time1,time2
... ... ....

time1用来存于本条数据的时间,time2用于存取上面一条数据的time2.
在添加数据的时候先得到数据库中最后一条数据time2时间,如果超过30秒就填写当前时间.
field, time1, time2
.. 9:00:00 9:00:00
.. 9:00:01 9:00:00
.. 9:00:02 9:00:00
.. 9:00:03 9:00:00
.. 9:00:35 9:00:03
...............
如果是这样的表结构,我想楼主应该好实现吧.

cdsun 2006-04-21

打赏
举报

线呈

太空11 2006-04-21

打赏
举报

1 10:10:10
2 10:10:10
3 10:10:10
4 10:10:10
5 10:10:10
1 10:10:20
2 10:10:20
3 10:10:20
4 10:10:20
5 10:10:20
1 10:10:30
2 10:10:30
3 10:10:30
4 10:10:30
5 10:10:30
数据格式是这样的，我现在就是在数据表中提取出1这个点是不是连续的，不连续的话分为多少段，起始时间，结束时间 2这个点是不是连续的，不连续的话分为多少段，起始时间，结束时间3，4，5 是同样的操作过程

太空11 2006-04-21

打赏
举报

怎么设置那？？？这个我没有设置过

vfork 2006-04-21

打赏
举报

這樣別的程序至少也就會有50%的cpu資源了。

vfork 2006-04-21

打赏
举报

但是要是知道每一段的数据连续性就得每一条数据都要检测而且cpu得利用率为100％同时别的程序处理速度将减慢。
--------------------------------------------------------------------------------------
我也遇到這個問題，就是在算工資的時候也是100%。
我最後的解決辦法再安裝一個sql server，把人事庫移到新的sql server中，
設置這個sql server的cpu暫用率最多為50%。

太空11 2006-04-21