论坛首页 精选版块
移动开发
iOSAndroidQtWP
云计算
IaaSPass/SaaS分布式计算/Hadoop
Java技术
Java SEJava Web 开发Java EEJava其他相关
.NET技术
.NET FrameworkC#.NET分析与设计ASP .NETVB .NET
Web开发
PHPJavaScriptASPHTML(CSS)HTML5Apache
开发语言/框架
DelphiVC/MFCVBC/C++C++ Builder其他开发语言
数据库开发
MS-SQL ServerOraclePowerBuilderInformatica其他数据库开发
硬件/嵌入式开发
嵌入开发(WinCE)驱动开发/核心开发硬件设计单片机/工控汇编语言VxWorks开发
Linux/Unix社区
系统维护与使用区应用程序开发区内核源代码研究区驱动程序开发区CPU和硬件区
 论坛牛人 排行榜 论坛地图 论坛任务 论坛帮助 我要发贴
CSDN论坛 > VB > VB基础类

用ado连接一个200m的excel文件,速度奇慢！！ [问题点数：100分，结帖人CSDN]

一键查看最优答案

确认一键查看最优答案？
本功能为VIP专享，开通VIP获取答案速率将提升10倍哦！
取消

开通vip会员
更多帖子
私信 空间 博客
nofree
Bbs1
本版专家分：0
结帖率 100%
要用vb将一个200m以上的excel文件转为特定格式的文件，程序已经做好，在转几m,几十m的excel时都没什么问题，但文件上百兆时，程序运行到

adoCnn.Open "Provider=Microsoft.Jet.OLEDB.4.0;Persist Security Info=False;Data Source=" + FileName + ";Extended Properties='Excel 8.0;HDR=Yes;IMEX=1'"

就会非常慢，基本死机，很长时间没反应。

我觉得假如能连接成功，在查询数据时可以做优化，速度不会太慢，但连接这么慢就没办法了，ado没提供其他有用的方式了。
回复数 20 只看楼主 引用 举报 楼主
更多帖子
私信 空间 博客
ask999
Bbs2
本版专家分：298
是不是电脑配置太低。
建议采用英特的双核处理器3.0G以上，电脑的内存扩充到1G以上，硬盘采用SCIS的。
只看TA 引用 举报 #1    得分 0
ask999
Bbs2
本版专家分：298
看看CPU的占用率。
只看TA 引用 举报 #2    得分 0
更多帖子
私信 空间 博客
nofree
Bbs1
本版专家分：0
主要程序是让客户用的，让客户换机器不大现实，就算换机器，估计速度也很慢。

难道vb就没有什么好的办法来处理大excel文件了吗?
只看TA 引用 举报 #3    得分 0
更多帖子
私信 空间 博客
northwolves
Bbs8
本版专家分：42353
版主
Blank
签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
Blank
微软MVP 2006年4月 荣获微软MVP称号
2008年4月 荣获微软MVP称号
2007年4月 荣获微软MVP称号
Blank
红花 2006年6月 VB大版内专家分月排行榜第一
Blank
蓝花 2006年5月 VB大版内专家分月排行榜第三
2005年9月 VB大版内专家分月排行榜第三
200m?  还是建议换成其他数据库,或者将EXCEL表按某规律如时间,人物,事件等分成若干小表
只看TA 引用 举报 #4    得分 0
更多帖子
私信 空间 博客
nofree
Bbs1
本版专家分：0
但客户给的文件就是这种格式，他们原始数据都是这样的。他们怎么弄来的，我也不知道。要是把大文件转成小文件，也是很麻烦的，200m的excel文件我的机器几乎都不能直接打开。
只看TA 引用 举报 #5    得分 0
更多帖子
私信 空间 博客
laidon
Bbs3
本版专家分：677
200M的excel文件？太不合理了
建议楼主从200M的Excel下手，找个高配置的机器打开看看是什么样的结构，写段代码转换到数据库里去再回那台“拖拉机”上去用你的程序处理。
只看TA 引用 举报 #6    得分 0
更多帖子
私信 空间 博客
nofree
Bbs1
本版专家分：0
文件大没关系，用记录集取数据的时候，可以用异步方式，不会慢，但连接为什么这么慢，以前文件小的时候，没注意，难道connection.open的时候需要读取整个文件吗？但这个时候还没有生成记录集啊，应该不需要把整个文件读入内存吧（因为我用单步调试，发现运行打开连接的时候，程序突然占用了200多兆内存，还在不断往上涨），但ado连接大数据库的时候，也不会这样慢啊，ado在连接大型文件的时候就不会作相应的优化吗。

哪位了解ado连接原理的来解释下吧。
只看TA 引用 举报 #7    得分 0
更多帖子
私信 空间 博客
lzheng2001
Bbs5
本版专家分：2389
Blank
红花 2006年10月 PowerBuilder大版内专家分月排行榜第一
2006年6月 PowerBuilder大版内专家分月排行榜第一
2006年5月 PowerBuilder大版内专家分月排行榜第一
2006年4月 PowerBuilder大版内专家分月排行榜第一
2006年3月 PowerBuilder大版内专家分月排行榜第一
2006年1月 PowerBuilder大版内专家分月排行榜第一
2005年12月 PowerBuilder大版内专家分月排行榜第一
2005年11月 PowerBuilder大版内专家分月排行榜第一
2005年10月 PowerBuilder大版内专家分月排行榜第一
2005年9月 PowerBuilder大版内专家分月排行榜第一
2005年7月 PowerBuilder大版内专家分月排行榜第一
2005年6月 PowerBuilder大版内专家分月排行榜第一
2005年4月 PowerBuilder大版内专家分月排行榜第一
2004年9月 PowerBuilder大版内专家分月排行榜第一
2004年8月 PowerBuilder大版内专家分月排行榜第一
2004年5月 PowerBuilder大版内专家分月排行榜第一
2004年4月 PowerBuilder大版内专家分月排行榜第一
Blank
黄花 2007年7月 PowerBuilder大版内专家分月排行榜第二
2006年11月 PowerBuilder大版内专家分月排行榜第二
2006年9月 PowerBuilder大版内专家分月排行榜第二
2006年7月 PowerBuilder大版内专家分月排行榜第二
2005年8月 PowerBuilder大版内专家分月排行榜第二
2005年5月 PowerBuilder大版内专家分月排行榜第二
2004年10月 PowerBuilder大版内专家分月排行榜第二
Blank
蓝花 2006年2月 PowerBuilder大版内专家分月排行榜第三
1.主要的问题应该是内存问题,内存太小,程序要申请虚拟内存,就是进行硬盘操作,所以慢, 楼主换台大内存的电脑可能就不会慢了. 

2.连接其它数据库都不会出现楼主所说的问题,连接excel就不同了,可能是由于ado要先分析excel的文件结构造成的. excel文件最多只有65536行,搞不懂为什么为200M的容量! 难道有大量的图片?

只看TA 引用 举报 #8    得分 0
更多帖子
私信 空间 博客
nofree
Bbs1
本版专家分：0
2.连接其它数据库都不会出现楼主所说的问题,连接excel就不同了,可能是由于ado要先分析excel的文件结构造成的. excel文件最多只有65536行,搞不懂为什么为200M的容量! 难道有大量的图片?
=======================

有多个sheet
只看TA 引用 举报 #9    得分 0
更多帖子
私信 空间 博客
jackcaixia
Bbs3
本版专家分：603
没办法了~~扔了你那台“拖拉机”,改用英特的双CPU3.0G以上，电脑的内存扩充到1G以上，硬盘采用SCIS。
只看TA 引用 举报 #10    得分 0
更多帖子
私信 空间 博客
hzybc
Bbs5
本版专家分：2680

将EXCEL的数据放到SQL 中去
只看TA 引用 举报 #11    得分 0
zpsinz
Bbs4
本版专家分：1093
这是个非常郁闷的问题。
好像目前只有提高硬件配置了。
帮楼主顶一下。
只看TA 引用 举报 #12    得分 0
更多帖子
私信 空间 博客
nofree
Bbs1
本版专家分：0
好像是没什么办法了，我用access，sqlserver导入200m的excel也打不开，看来只能提高机器配置了，谢谢各位了，再等等放分。
只看TA 引用 举报 #13    得分 0
更多帖子
私信 空间 博客
haipingma
Bbs7
本版专家分：10390
不要一次打开那么多记录
只看TA 引用 举报 #14    得分 0
更多帖子
私信 空间 博客
绝缘
Bbs4
本版专家分：1053
把Excel转换成SQL数据库或ACCESS数据库，如果客户想更改数据库的内容，那就再加入修改等功能
只看TA 引用 举报 #15    得分 0
更多帖子
私信 空间 博客
vbman2003
Bbs8
本版专家分：45786
Blank
蓝花 2008年5月 VB大版内专家分月排行榜第三
sqlserver导入200m的excel也打不开？
是SQL连接不上这个文件？
确定这个文件是EXCEL文件吗？会不会是改了后缀的其它文件

只看TA 引用 举报 #16    得分 0
更多帖子
私信 空间 博客
nofree
Bbs1
本版专家分：0
可以肯定是excel文件，因为用excel打开过，程序也还没运行到打开记录集的地方，在打开连接的时候就停住了，小点的文件一下就过了。
只看TA 引用 举报 #17    得分 0
lnhsgj
Bbs3
本版专家分：858
Blank
红花 2006年9月 硬件使用大版内专家分月排行榜第一
2006年7月 硬件使用大版内专家分月排行榜第一
2006年6月 硬件使用大版内专家分月排行榜第一
Blank
黄花 2005年11月 硬件使用大版内专家分月排行榜第二
2005年10月 硬件使用大版内专家分月排行榜第二
会不是这个excel文件自身的问题呀.

用excel程序试试能不能打开它.
只看TA 引用 举报 #18    得分 0
更多帖子
私信 空间 博客
of123
Bbs10
本版专家分：118816
Blank
红花 2014年6月 VB大版内专家分月排行榜第一
2014年5月 VB大版内专家分月排行榜第一
2014年4月 VB大版内专家分月排行榜第一
2014年3月 VB大版内专家分月排行榜第一
2014年2月 VB大版内专家分月排行榜第一
2014年1月 VB大版内专家分月排行榜第一
2013年11月 VB大版内专家分月排行榜第一
Blank
黄花 2013年12月 VB大版内专家分月排行榜第二
2013年3月 VB大版内专家分月排行榜第二
2013年1月 VB大版内专家分月排行榜第二
2012年9月 VB大版内专家分月排行榜第二
2012年8月 VB大版内专家分月排行榜第二
2012年7月 VB大版内专家分月排行榜第二
2006年7月 VB大版内专家分月排行榜第二
2006年5月 VB大版内专家分月排行榜第二
Blank
蓝花 2014年9月 VB大版内专家分月排行榜第三
2013年7月 VB大版内专家分月排行榜第三
2013年6月 VB大版内专家分月排行榜第三
2013年4月 VB大版内专家分月排行榜第三
2012年11月 VB大版内专家分月排行榜第三
2006年6月 VB大版内专家分月排行榜第三
2006年4月 VB大版内专家分月排行榜第三
2002年12月 VB大版内专家分月排行榜第三
2002年11月 VB大版内专家分月排行榜第三
问题出在进程的虚拟内存需要大量磁盘交换。试试：

1 不要用客户端游标。这样就不需要再开辟一个客户端缓冲区。

2 换用 ODBC 接口：
adoCnn.Open "Driver={Microsoft Excel Driver (*.xls)};DriverId=790;
    Dbq=C:\MyExcel.xls;DefaultDir=c:\mypath;"
只看TA 引用 举报 #19    得分 0
更多帖子
私信 空间 博客
vbman2003
Bbs8
本版专家分：45786
Blank
蓝花 2008年5月 VB大版内专家分月排行榜第三
of123() 兄说的有道理
或者直接做成系统DSN试试
只看TA 引用 举报 #20    得分 0