txt批量导入数据库的问题.

[BitCoffee]

现有一个txt文件里面有几十万条数据,或者更多,需要将这些数据导入SDF或者Access数据库.
怎样可以提高导入的效率?
将这个文件先切割成多个小文件,然后使用多线程导入.这样可以吗?如果可以,一般开多少个线程比较合理.
或者还有没有其它更好的方法.谢谢指点.

[wuyq11]

采用多线程, 一个线程从文本文件读各个字段的数据
一个线程负责向数据库插入各字段,共享一些变量
或SQL Server中的DTS，
还可使用ADODB的BatchUpdate

[wzuomin]

mark

[jeven_xiao]

支持~

[Cherishny]

SdF 这么多大数据量　不适合用吧　

[cycle263]

[Quote=引用 3 楼 sql77 的回复:]
BULK INSERT
或用数据库工具DTS
[/Quote]

顶起
!!!!

[liutong123]

你可以自己做一个小程序，用一个线程就行了，别说几十万了，几百万都没有问题，我刚做过这中类型的项目，有需要可以联系我

[panzhaojl]

线程还是单一的好，要么就用工具导入

[yqlx521]

如果你使用线程建议看下 msdn的线程池 会节省很多时间

[ajwyyan]

先把数据写到XML里
然后从XML里加到数据库里应该会快一点

[tuoshi]

Access啊，没经验，很久不用了，SQL Server的话方法很多。

[LutzMark]

先存入DataTable
然后用SqlBulkCopy批量导入
BatchSize设大点
http://blog.csdn.net/yuxuanji/archive/2009/09/24/4588460.aspx

[fpcc]

你说的这个东西，与线程没有太大关系，如果你想快的话，可以使用内存映射文件，在处理日志及大的数据时，基本都采用此种方法，把文件首先映射到内存，然后快速读写修改。

[fpcc]

因为在你的这个操作中，延缓时间的不是数量，而是频繁的IO操作，大家都知道，在所有的操作中，IO操作是最慢的基本上是在秒级上。所以先映射到内存，内存是MS级的，当然要快很多了。

[hangang7403]

up

[mikebai]

sqlce 我记得好像没有 ConnectionTimeout吧?必须设置成0
这么大的数据量 我觉得access也比较吃力
sql的我倒是做过,全部放入内存后逐条导入到db中
速度很慢.因为是个人作品数据备份用,所以啥都没有处理.

[红街咖啡]

luguo .

[tian_dao_chou_qin]

学习了

[daichenghua]

你的txt文档结构清楚的话 你可以把它转换为CSV的格式，再转换为.xls的格式，把excel导入到数据库里面应该效率很高的吧

[liujintaozyc]

[Quote=引用 12 楼 wuyq11 的回复:]
采用多线程, 一个线程从文本文件读各个字段的数据
一个线程负责向数据库插入各字段,共享一些变量
或SQL  Server中的DTS， 
还可使用ADODB的BatchUpdate
[/Quote]
对

[tian_dao_chou_qin]

[Quote=引用 12 楼 wuyq11 的回复:]
采用多线程, 一个线程从文本文件读各个字段的数据
一个线程负责向数据库插入各字段,共享一些变量
或SQL  Server中的DTS， 
还可使用ADODB的BatchUpdate
[/Quote]

同意，完全同意，呵呵
国庆快乐，呵呵