社区
数据库相关
帖子详情
在进行大量数据处理时,如何加快处理速度?
大风吹过脸颊
2011-06-09 01:35:16
我这个程序是单机版的,access数据库,好像不支持存储过程。
数据库中有三千多条数据要批量处理,主要操作是根据User表中各用户的登记日期,到今天的系统日期,算出中间相隔的天数。再插入到加一个表中。
目前我用Adoquery的next的方法,一条条处理出来,再插入表中,需要2分钟以上才能处理完毕,速度比较慢。请问要怎么才能提高我的处理速度呢?据说用缓存可以先存储在本地,算完后再一次提交,请问这个如何实现?
...全文
783
8
打赏
收藏
在进行大量数据处理时,如何加快处理速度?
我这个程序是单机版的,access数据库,好像不支持存储过程。 数据库中有三千多条数据要批量处理,主要操作是根据User表中各用户的登记日期,到今天的系统日期,算出中间相隔的天数。再插入到加一个表中。 目前我用Adoquery的next的方法,一条条处理出来,再插入表中,需要2分钟以上才能处理完毕,速度比较慢。请问要怎么才能提高我的处理速度呢?据说用缓存可以先存储在本地,算完后再一次提交,请问这个如何实现?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
8 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
babydog01
2011-06-13
打赏
举报
回复
1、相关的表一定要按相关条件建立索引。
2、尽是用SQL语句,比你一条一条的做要快很多!!
3、如果数据库太大了,定期清理数据并做压缩修复。
andylist
2011-06-12
打赏
举报
回复
不是很清楚需求,所以无法回答.
山东蓝鸟贵薪
2011-06-09
打赏
举报
回复
换个高配置的电脑,就会加快[数据运算]
haitao
2011-06-09
打赏
举报
回复
导入sql server,再批量处理,处理完了再导回access
yangqi613
2011-06-09
打赏
举报
回复
不好意思,不是算到今天,是算到一个指定的日期,hai需要在程序中判断条件,再用公式运算出每一条的金额再同时插入另一个表。要用到程序中的公式,所以不能在sql语句中一次处理好的。
cqs6616
2011-06-09
打赏
举报
回复
顶 二楼
bdmh
2011-06-09
打赏
举报
回复
access的sql中当然日期是now,日期 间隔好像有个DateDiff,自己查查资料,看看具体用法
bdmh
2011-06-09
打赏
举报
回复
一句sql就可以解决啊,insert into table1(field1) select 这进行日期相减 from table2
Python空间
数据处理
实战
近几年,基于位置服务的应用层出不穷,如GPS车辆导航、打车、外卖、运动等,产生了
大量
的具有
时
空信息的轨迹数据,对此类数据的处理挖掘是城市智能化发展的必经之路。 本课程讲述了Python对
时
空数据的...
大数据技术是怎么提高数据的
处理速度
的?
现如今,大数据技术越来越成熟,这也是很多人关注和学习大数据的原因。而现在很多企业都开始格外重视大数据技术,正是由于大数据技术的持续发展和利用,使得企业处理数据的速度大大提高。在这篇文章中我们就给大家介绍一下大数据技术是怎么提高数据的
处理速度
的。 其实大数据提高数据
处理速度
的原因就是MapReduce。而大数据可以通过MapReduce这一并行处理技术来提高数据的
处理速度
。大家可能不知道的是,Ma...
传统
数据处理
技术如何与大
数据处理
技术有机结合
在大数据环境下数据来源非常丰富且数据类型多样,存储和分析挖掘的数据量庞大,对数据展现的要求较高,并且很看重
数据处理
的高效性和可用性。但是传统
数据处理
的方法的数据采集来源单一,且存储、管理和分析数据量也相对较小,大多采用关系型数据库和并行数据仓库即可处理。对依靠并行计算提升数据
处理速度
方面而言,传统的并行数据库技术追求高度一致性和容错性,根据CAP理论,难以保证其可用...
201806
数据处理
SQL、python、shell 哪家强...速度PK(上篇)
最近在工作中,
进行
大量
的
数据处理
,使用的是mysql5.7.22,发现当数据量级达到几十万之后,SQL执行速度明显变慢。尤其是当多个表join
时
,于是就尝试用python pandas
进行
数据处理
,发现运行速度明显比SQL运行速度快。于是,决定比较一下千万数据量级之下,SQL、pandas、shell在
数据处理
上的优劣势。 配置:ubuntu系统64位,8G内存,intel i7处理器 软件环...
前端快速处理几十万条数据的方式?
在前端处理
大量
数据
时
,可以采用以下几种方式来提高
处理速度
和性能:数据分页:将数据分成多个页面,并按需加载。只加载当前页面的数据,而不是一次性加载全部数据。这可以减少初始加载
时
间和内存占用,并提高用户体验。虚拟滚动:对于需要展示
大量
列表或表格数据的情况,可以使用虚拟滚动技术。虚拟滚动只渲染可见区域的数据,而不是全部数据,从而减少渲染
时
间和内存占用。数据分片:将大数据集分成多个小块来处理,可以使用分片算法将数据分成多个批次处理。这样可以避免一次性处理
大量
数据导致页面卡顿或崩溃。
数据库相关
2,498
社区成员
88,445
社区内容
发帖
与我相关
我的任务
数据库相关
Delphi 数据库相关
复制链接
扫一扫
分享
社区描述
Delphi 数据库相关
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章