社区
Delphi
帖子详情
从大数据量文本文件中(10万条记录以上)读数据,插入ACCESS数据库表中,如何提高速度?
jansonwjl
2003-06-27 10:58:03
从大数据量文本文件中(10万条记录以上)读数据,文本文件中每行的长度是固定的,插入ACCESS数据库表,我采取的方式是按照规定好的格式逐条从文本文件中读取记录,截取文本记录使用ADOQUERY控件调用SQL语句插入表中不同的字段,但是这种方式在数据量很大,机器性能不是很好时,速度非常慢,大家帮忙提个建议不知采用什么方式能够提高速度这种读取数据插入数据库的方式,谢谢!
...全文
356
18
打赏
收藏
从大数据量文本文件中(10万条记录以上)读数据,插入ACCESS数据库表中,如何提高速度?
从大数据量文本文件中(10万条记录以上)读数据,文本文件中每行的长度是固定的,插入ACCESS数据库表,我采取的方式是按照规定好的格式逐条从文本文件中读取记录,截取文本记录使用ADOQUERY控件调用SQL语句插入表中不同的字段,但是这种方式在数据量很大,机器性能不是很好时,速度非常慢,大家帮忙提个建议不知采用什么方式能够提高速度这种读取数据插入数据库的方式,谢谢!
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
18 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
jansonwjl
2003-07-05
打赏
举报
回复
那到底怎样使用ADOQUERY的SQL命令方式提高从文本记录读出数据插库的速度呢
Delphi_Li
2003-06-30
打赏
举报
回复
如果不想编程,那么使用SQL Server中的DTS,
如果想编程,那么使用Bulk Copy命令,具体使用方法参考SQL Server的联机帮助!
benny87
2003-06-30
打赏
举报
回复
怎么会要这么长时间啊,我40多万条纪录做了没超过2分钟啊
jansonwjl
2003-06-30
打赏
举报
回复
还是没有解决呢,大家再来想想办法,给提个好的建议吧,谢谢。
jansonwjl
2003-06-29
打赏
举报
回复
还是没有找到好的办法,我在更新数据库时已经加入进度条显示了,但是几十万条数据,4-5小时的插数据操作让人很难接受呀。
wonderfulhfj
2003-06-29
打赏
举报
回复
我顶住
jpyc
2003-06-29
打赏
举报
回复
我也在寻求这个问题的解决方法,同命相连,帮你顶顶。
线索:我用sql语句执行,效率提高了一倍多,但数据量大,机器配置地肯定是最致命的问题。
如果这样,给你一个建议,可能对你有帮助:一旦需要处理这样的大数据量任务时,停止其它任务,显示进度条,给用户一种比较直观的处理数据的感觉,否则硬盘不停的转,屏幕什么反映都没有,用户会认为死机。另外,处理这种数据的时机尽量要放在系统不太忙的时候,如退出系统前。好,希望对你有帮助,如果解决了,给个消息!
jansonwjl
2003-06-28
打赏
举报
回复
动态产生SQL语句每次更新一定量数据的方法该怎样做呢还请指教,谢谢
Hank
2003-06-27
打赏
举报
回复
通过动态产生SQL语句来更新,每次更新一定数量例如100条!
直接独入牵扯到字段对应问题
DWGZ
2003-06-27
打赏
举报
回复
少个扩展名嘛
如果你这文本格式式ADO 不认识的话。。。
就用文件操作吧
hkbarton
2003-06-27
打赏
举报
回复
你的那个文本不在工程目录下
jansonwjl
2003-06-27
打赏
举报
回复
to:WWWWA(aaaa)
您说的方法我试过了,不过运行到ADOCONNECTION.execute()的时候报错提示
‘could not find file 'c:\programfiles\borland\delhi5\projects\text'不知为何?
lion_lh
2003-06-27
打赏
举报
回复
先把数据库里的索引删了,再插入速度会快点
WWWWA
2003-06-27
打赏
举报
回复
在Form上放一个ADOConnection,连结指向目标Access库
比如txt文件在c:\temp\aaaa.txt
就执行
ADOConnection.Connected := True;
ADOConnection.Execute('Select * Into abcd From [Text;Database=c:\temp].aaaa.txt');
outer2000
2003-06-27
打赏
举报
回复
用批更新可以吗?比如1000条插一次;
dawnming
2003-06-27
打赏
举报
回复
帮你顶一下
我只会瞎说
risingsoft
2003-06-27
打赏
举报
回复
采用多线程 一个线程从文本文件读各个字段的数据 一个线程负责向数据库插入各字段 共享一些变量 如数组等
jansonwjl
2003-06-27
打赏
举报
回复
那么怎样动态产生SQL语句每次更新100条数据呢,还请指教,谢谢
用java实现从txt
文本文件
批
量
导入数据至
数据库
今天同事让我准备一个项目的测试数据,要向一个表
中
插入
上千条
记录
,并且保证每条
记录
内容不同,如果用手工一条一条
插入
肯定是不可能,也不会有哪个SB去做这样的事,我最开始想到了用循环,但要求
插入
的
记录
内容不能相同,用循环实现比较麻烦,于是我想到了将
记录
从
文本文件
导入至
数据库
(其实SQLServer可利用sql语句实现导入xls或txt文件,在这就不具体说明了),写个简单的具有解析
文本文件
并将解析结果
插入
C#从
文本文件
中
读取数据大批
量
导入
数据库
C#从
文本文件
中
读取数据大批
量
导入
数据库
ACCESS
大批
量
数据写入之性能提升方案
ACCESS
数据库
中
批
量
写入
大数据
量
时,最让人头疼的就是效率问题了。我一直也被这个问题困扰着。最近突然想起一个方案。利用
ACCESS
自身的导入功能,实现
大数据
的迅速导入功能。整体方案是这样的:数据—>
文本文件
—>MDB 适用范围:大批
量
数据转换 下面是实现方案,请注意后面的注释。第一、将 数据写入到
文本文件
中
。每一行一条
记录
,第一行是标题行。这里注意
文本文件
的格式:列之间使用逗号分开,数据符合
向
ACCESS
大批
量
快速
插入
数据的方法
今天经过试验,总结了一条向
ACCESS
大批
量
插入
数据时比较快捷的方法.先前VC程序
中
使用connection执行insert语句向
ACCESS
中
插入
数据,效率奇慢无比.今天测试结果表明:同等数据
量
时, rs.addnew比connection.execute(insert)要高N倍.另,建议使用事务机制处理数据. 将connection.BeginTrans和connection.Com
我的
数据库
每天数据
量
目前高达7000
万条
插入
!可能还要
提高
!
violing资深会员 我的
数据库
每天数据
量
目前高达7000
万条
插入
!可能还要
提高
! 这么极端的情况我还得进行各种各样的统计,其
中
不乏难度比较大的统计工作,没想到经过我的潜心研究竟然工作得爽爽的!搞得我特有成就感!这个表t的列很多,其
中
比较重要的
Delphi
5,928
社区成员
262,931
社区内容
发帖
与我相关
我的任务
Delphi
Delphi 开发及应用
复制链接
扫一扫
分享
社区描述
Delphi 开发及应用
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章