txt批量导入数据库的问题.-CSDN论坛

⋅C#调用C++DLL字段类型的问题 ⋅txt批量导入数据库的问题. ⋅周末了,散分!~祝大家有个好心情. 更多帖子 关注空间博客 BitCoffee 本版专家分：11707 结帖率 83.33%: 现有一个txt文件里面有几十万条数据,或者更多,需要将这些数据导入SDF或者Access数据库.
怎样可以提高导入的效率?
将这个文件先切割成多个小文件,然后使用多线程导入.这样可以吗?如果可以,一般开多少个线程比较合理.
或者还有没有其它更好的方法.谢谢指点.

0 2009-09-27 18:04:18

回复数 36 只看楼主引用举报楼主

⋅mysql 多表连接语句优化请教 ⋅请问带in 和子查询的sql语句怎么进行优化？ ⋅散分 更多帖子 关注空间博客 PandaIT 本版专家分：23802 蓝花 2009年11月 .NET技术大版内专家分月排行榜第三: 帮顶一下！

0 2009-09-27 18:07:54

只看TA 引用举报 #1 得分 5

⋅【声明】关于灌水和广告性质帖子的处理

⋅怎么给微软“找茬”

⋅怎么给微软“找茬”

更多帖子

关注空间博客

Justin-Liu

本版专家分：29369

版主

优秀版主 2016年10月优秀大版主
恭喜您，在2016年6月份获得优秀版主称号
恭喜您，在2016年4月份获得优秀版主称号
恭喜您，在2016年5月份获得优秀版主称号
恭喜您，在2016年8月份获得优秀版主称号
2015年9月优秀大版主
2015年5月优秀大版主
2014年11月论坛优秀版主

银牌 2019年2月总版技术专家分月排行榜第二

微软MVP 2015年4月荣获微软MVP称号
2014年4月荣获微软MVP称号

红花 2019年2月企业IT大版内专家分月排行榜第一
2014年12月企业软件大版内专家分月排行榜第一
2014年11月企业软件大版内专家分月排行榜第一
2014年7月企业软件大版内专家分月排行榜第一
2011年10月企业开发大版内专家分月排行榜第一
2011年5月企业开发大版内专家分月排行榜第一
2011年3月企业开发大版内专家分月排行榜第一
2010年12月企业开发大版内专家分月排行榜第一
2010年11月企业开发大版内专家分月排行榜第一
2010年9月企业开发大版内专家分月排行榜第一
2010年8月企业开发大版内专家分月排行榜第一
2010年7月企业开发大版内专家分月排行榜第一
2010年6月企业开发大版内专家分月排行榜第一
2010年5月企业开发大版内专家分月排行榜第一: 回复得分

0 2009-09-27 18:09:07

只看TA 引用举报 #2 得分 5

⋅什么情况，国庆都没人散粉，接粉1......

⋅好久不见。。我是来看看刚才那群流氓和大伙的

⋅恭喜SQL版各位MVP位

更多帖子

关注空间博客

SQL77

本版专家分：11961

微软MVP 2012年10月荣获微软MVP称号

黄花 2010年1月 MS-SQL Server大版内专家分月排行榜第二
2009年11月 MS-SQL Server大版内专家分月排行榜第二

蓝花 2012年10月 MS-SQL Server大版内专家分月排行榜第三
2010年7月 MS-SQL Server大版内专家分月排行榜第三
2010年3月 MS-SQL Server大版内专家分月排行榜第三
2010年2月 MS-SQL Server大版内专家分月排行榜第三
2009年8月 MS-SQL Server大版内专家分月排行榜第三: BULK INSERT
或用数据库工具DTS

0 2009-09-27 18:12:24

只看TA 引用举报 #3 得分 5

⋅什么情况，国庆都没人散粉，接粉1......

⋅好久不见。。我是来看看刚才那群流氓和大伙的

⋅恭喜SQL版各位MVP位

更多帖子

关注空间博客

SQL77

本版专家分：11961

微软MVP 2012年10月荣获微软MVP称号

黄花 2010年1月 MS-SQL Server大版内专家分月排行榜第二
2009年11月 MS-SQL Server大版内专家分月排行榜第二

蓝花 2012年10月 MS-SQL Server大版内专家分月排行榜第三
2010年7月 MS-SQL Server大版内专家分月排行榜第三
2010年3月 MS-SQL Server大版内专家分月排行榜第三
2010年2月 MS-SQL Server大版内专家分月排行榜第三
2009年8月 MS-SQL Server大版内专家分月排行榜第三

权限

只有 sysadmin 和 bulkadmin 固定服务器角色成员才能执行 BULK INSERT。



示例

本例从指定的数据文件中导入订单详细信息，该文件使用竖杠 (|) 字符作为字段终止符，使用 |\n 作为行终止符。



BULK INSERT Northwind.dbo.[Order Details]

   FROM 'f:\orders\lineitem.tbl'

   WITH 

      (

         FIELDTERMINATOR = '|',

         ROWTERMINATOR = '|\n'

      )



本例指定 FIRE_TRIGGERS 参数。



BULK INSERT Northwind.dbo.[Order Details]

   FROM 'f:\orders\lineitem.tbl'

   WITH

     (

        FIELDTERMINATOR = '|',

        ROWTERMINATOR = ':\n',

        FIRE_TRIGGERS

      )

0 2009-09-27 18:12:53

只看TA 引用举报 #4 得分 10

⋅C#调用C++DLL字段类型的问题 ⋅txt批量导入数据库的问题. ⋅周末了,散分!~祝大家有个好心情. 更多帖子 关注空间博客 BitCoffee 本版专家分：11707: 谢谢各位,还有没有其他的方法?
还有,我想弄明白,对于这样批量的导入,能用多线程提高效率吗?能的话,一般开多少合适?

0 2009-09-27 19:20:54

只看TA 引用举报 #5 得分 0

wangdaoren 本版专家分：364: 建议还是用单线程，因为你需要对同一张表去插入数据，如果多线程可能造成冲突。。。

0 2009-09-27 19:28:40

只看TA 引用举报 #6 得分 10

⋅ifram滚动条与窗口滚动条联动 ⋅javascript 控制 ifram的小问题 ⋅silverlight样式资源动态设置方法 更多帖子 关注空间博客 阿牛138588 本版专家分：10312: 只能老老实实一行一行添加，用线程不会更快

0 2009-09-27 19:34:44

只看TA 引用举报 #7 得分 10

vip_123 本版专家分：26: 学习

0 2009-09-27 20:31:16

只看TA 引用举报 #8 得分 5

小小菜 本版专家分：1092 黄花 2010年12月 MS-SQL Server大版内专家分月排行榜第二 蓝花 2010年11月 MS-SQL Server大版内专家分月排行榜第三: 一般我都是DTS导进去。。。。

0 2009-09-27 21:02:38

只看TA 引用举报 #9 得分 5

⋅C#调用C++DLL字段类型的问题 ⋅txt批量导入数据库的问题. ⋅周末了,散分!~祝大家有个好心情. 更多帖子 关注空间博客 BitCoffee 本版专家分：11707: 有做过数据从txt导入到Access去的没？一般每秒导入多少?

0 2009-09-28 08:44:33

只看TA 引用举报 #10 得分 0

⋅C#调用C++ DLL(结构体中二维数组转换) ⋅2009 -> 2010 ⋅请教sdl问题? 更多帖子 关注空间博客 peterb 本版专家分：12441: 可以看看SqlBlukCopy类, 如果是导入到SQL Server数据库的话

0 2009-09-28 08:58:11

只看TA 引用举报 #11 得分 10

⋅今天的帖子很多看不到，又是错误 ⋅郁闷,这几天分值增加了很多又减少好几百分，也没人解释 ⋅MVP 散分 更多帖子 关注空间博客 wuyq11 本版专家分：816317 名人 2012年荣获名人称号 状元 2010年总版技术专家分年内排行榜第一 2009年总版技术专家分年内排行榜第一 榜眼 2011年总版技术专家分年内排行榜第二 金牌 2011年3月总版技术专家分月排行榜第一 2011年2月总版技术专家分月排行榜第一 2011年1月总版技术专家分月排行榜第一 2010年12月总版技术专家分月排行榜第一 2010年11月总版技术专家分月排行榜第一 2010年10月总版技术专家分月排行榜第一 2010年9月总版技术专家分月排行榜第一 2010年8月总版技术专家分月排行榜第一 2010年7月总版技术专家分月排行榜第一 2010年6月总版技术专家分月排行榜第一 2010年5月总版技术专家分月排行榜第一 2010年3月总版技术专家分月排行榜第一 2010年4月总版技术专家分月排行榜第一 2010年2月总版技术专家分月排行榜第一 2010年1月总版技术专家分月排行榜第一 2009年12月总版技术专家分月排行榜第一 2009年11月总版技术专家分月排行榜第一 2009年10月总版技术专家分月排行榜第一 2009年8月总版技术专家分月排行榜第一 2009年7月总版技术专家分月排行榜第一 2009年6月总版技术专家分月排行榜第一: 采用多线程, 一个线程从文本文件读各个字段的数据
一个线程负责向数据库插入各字段,共享一些变量
或SQL Server中的DTS，
还可使用ADODB的BatchUpdate

0 2009-09-28 09:09:46

只看TA 引用举报 #12 得分 10

⋅关于asp.net mvc 3 应用于大型项目的效率问题，请大家谈谈 ⋅怎么在页面跳转的时候给以用户保存提示?像www.51.com这个博客的跳转方式 ⋅怎么在页面跳转的时候给以用户保存提示？ 更多帖子 关注空间博客 jeven_xiao 本版专家分：5344: 支持~

0 2009-09-28 09:14:16

只看TA 引用举报 #13 得分 5

⋅C# 串口调试如何获取线路DCD状态？ ⋅sql 在sql develop中执行通过，但在代码中执行出错?请教各位兄弟姐妹 ⋅如何获取外部程序窗体的句柄？前提外部程序启动的窗体在任务栏不显示！ 更多帖子 关注空间博客 Cherishny 本版专家分：2457: SdF 这么多大数据量　不适合用吧　

0 2009-09-28 09:18:09

只看TA 引用举报 #14 得分 5

⋅女友，命运八字 ⋅成都工薪层年平均薪水达50000？ ⋅Outlook2007的信纸模板（圆点控件等不显示） 更多帖子 关注空间博客 cycle263 本版专家分：5: 引用 3 楼 sql77 的回复:
BULK INSERT
或用数据库工具DTS

顶起
!!!!

0 2009-09-28 09:24:05

只看TA 引用举报 #15 得分 5

panzhaojl 本版专家分：951: 线程还是单一的好，要么就用工具导入

0 2009-09-28 10:00:26

只看TA 引用举报 #16 得分 5

yqlx521 本版专家分：429: 如果你使用线程建议看下 msdn的线程池会节省很多时间

0 2009-09-28 10:15:30

只看TA 引用举报 #17 得分 5

ajwyyan 本版专家分：49: 先把数据写到XML里
然后从XML里加到数据库里应该会快一点

0 2009-09-28 11:35:10

只看TA 引用举报 #18 得分 10

tuoshi 本版专家分：1436: Access啊，没经验，很久不用了，SQL Server的话方法很多。

0 2009-09-28 11:42:57

只看TA 引用举报 #19 得分 5

⋅支持markman强烈谴责tencent抄袭 ⋅Remote Desktop To Windows Server2008R2 出现Remote Session Ended错误 ⋅哪里的农业户口与城市户口值钱？ 更多帖子 关注空间博客 LutzMark 本版专家分：14396: 先存入DataTable
然后用SqlBulkCopy批量导入
BatchSize设大点
http://blog.csdn.net/yuxuanji/archive/2009/09/24/4588460.aspx

0 2009-09-28 12:52:34

只看TA 引用举报 #20 得分 10

⋅C#调用C++DLL字段类型的问题 ⋅txt批量导入数据库的问题. ⋅周末了,散分!~祝大家有个好心情. 更多帖子 关注空间博客 BitCoffee 本版专家分：11707: 谢谢各位,导入的问题解决了.之前慢的原因是因为每次导入时要对比数据库,有就更新,没有就添加,现在改了直接添加,速度快了很多.
===================================================
ps:最后问下:sdf里的一个表,数据有30万,然后连接时,会出现连接超时的吧,可以像SQL里面那样设置ConnectionTimeout吗?
===================================================
明天结.

引用 14 楼 cherishny 的回复:
SdF 这么多大数据量　不适合用吧　

0 2009-09-28 20:30:43

只看TA 引用举报 #21 得分 0

24K純帥 本版专家分：1446: 帮顶。。

0 2009-09-28 20:31:43

只看TA 引用举报 #22 得分 5

⋅奇怪的腾讯微博搜索，这样的高效率用的是啥技术呢？全文索引？Like？还是有其他阴招？ ⋅一些网站效率优化小技巧，给你的网站+速，+速，再+速，附带具体实现的伪代码 ⋅Csdn收音机（论坛助手），祝大家新年快乐，技术进步！v-2010-01-21。 更多帖子 关注空间博客 boringame 本版专家分：1856: 直接到字符串导入就好了，
把文件切割了再倒入划不来，
不如把字符串切割了。
多线程可以考虑。

0 2009-09-28 20:36:09

只看TA 引用举报 #23 得分 10

Tanhualin 本版专家分：536: 帮顶一下！

0 2009-09-28 20:38:43

只看TA 引用举报 #24 得分 5

⋅网上的在线视频，播放窗口失去焦点即暂停播放，有什么解决方法吗？ ⋅【^o^】问个稀里糊涂的问题【^o^】 ⋅被扣积分了，迷惑中…… 更多帖子 关注空间博客 wzuomin 本版专家分：14835: mark

0 2009-09-28 21:09:48

只看TA 引用举报 #25 得分 5

⋅C# 获取MPG文件信息 ⋅局域网传输速度测试 ⋅学习.net买什么样是书？ 更多帖子 关注空间博客 liutong123 本版专家分：146: 你可以自己做一个小程序，用一个线程就行了，别说几十万了，几百万都没有问题，我刚做过这中类型的项目，有需要可以联系我

0 2009-09-28 21:57:35

只看TA 引用举报 #26 得分 5

⋅GO区块链中这段代码的意思，求教

⋅C#调用ibatisnet的DAO问题

⋅vs2010调用PYTHON的一个错误

更多帖子

关注空间博客

fpcc

本版专家分：430

Github 绑定github第三方账户获取: 你说的这个东西，与线程没有太大关系，如果你想快的话，可以使用内存映射文件，在处理日志及大的数据时，基本都采用此种方法，把文件首先映射到内存，然后快速读写修改。

0 2009-09-29 11:44:57

只看TA 引用举报 #27 得分 5

⋅GO区块链中这段代码的意思，求教

⋅C#调用ibatisnet的DAO问题

⋅vs2010调用PYTHON的一个错误

更多帖子

关注空间博客

fpcc

本版专家分：430

Github 绑定github第三方账户获取: 因为在你的这个操作中，延缓时间的不是数量，而是频繁的IO操作，大家都知道，在所有的操作中，IO操作是最慢的基本上是在秒级上。所以先映射到内存，内存是MS级的，当然要快很多了。

0 2009-09-29 11:45:58

只看TA 引用举报 #28 得分 5

⋅Parsing Data for android-23 failed ⋅网络硬盘 ⋅有哪位仁兄解决过framework3.5的安装问题 更多帖子 关注空间博客 hangang7403 本版专家分：3349: up

0 2009-09-29 12:05:44

只看TA 引用举报 #29 得分 5

⋅这次是认真的求名字，恶搞可以，但是顺边帮想个 ⋅3分，房展提示--逛大连春交会必看近百条经典广告语的玄机（转） ⋅水~，knowjava和liukang520236 2位csdn常驻人口4年来跳槽了几次？ 更多帖子 关注空间博客 mikebai 本版专家分：810: sqlce 我记得好像没有 ConnectionTimeout吧?必须设置成0
这么大的数据量我觉得access也比较吃力
sql的我倒是做过,全部放入内存后逐条导入到db中
速度很慢.因为是个人作品数据备份用,所以啥都没有处理.

0 2009-09-29 12:20:53

只看TA 引用举报 #30 得分 10

⋅求SQL Server 2016 SQL Prompt智能提示插件 ⋅vs2015 枚举全部报错，提示语法错误，2013没有问题 ⋅关于Request URL的问题，谢谢帮忙解决 更多帖子 关注空间博客 红街咖啡 本版专家分：10775: luguo .

0 2009-09-29 12:37:58

只看TA 引用举报 #31 得分 5

tian_dao_chou... 本版专家分：32: 学习了

0 2009-09-29 12:42:59

只看TA 引用举报 #32 得分 5

⋅c# 如何或者BS系列友声电子计重秤重量信息 ⋅如何通过表格里面的数据，来判断这些数据所在的行号 更多帖子 关注空间博客 daichenghua 本版专家分：2558: 你的txt文档结构清楚的话你可以把它转换为CSV的格式，再转换为.xls的格式，把excel导入到数据库里面应该效率很高的吧

0 2009-09-29 12:47:45

只看TA 引用举报 #33 得分 5

⋅高分请求装修门户站.net的 ⋅为大家分享jquery一些特效代码 ⋅程序员中美女多还是帅哥多 更多帖子 关注空间博客 liujintaozyc 本版专家分：3853: 引用 12 楼 wuyq11 的回复:
采用多线程, 一个线程从文本文件读各个字段的数据
一个线程负责向数据库插入各字段,共享一些变量
或SQL Server中的DTS，
还可使用ADODB的BatchUpdate

对

0 2009-09-29 12:51:21

只看TA 引用举报 #34 得分 5

⋅如何将数据查询结果从SQL导出到Excel？ 更多帖子 关注空间博客 tian_dao_chou... 本版专家分：32: 引用 12 楼 wuyq11 的回复:
采用多线程, 一个线程从文本文件读各个字段的数据
一个线程负责向数据库插入各字段,共享一些变量
或SQL Server中的DTS，
还可使用ADODB的BatchUpdate

同意，完全同意，呵呵
国庆快乐，呵呵

0 2009-10-01 20:06:17

只看TA 引用举报 #35 得分 0

txt批量导入数据库的问题. [问题点数：200分，结帖人BitCoffee]