22,294
社区成员
发帖
与我相关
我的任务
分享文本倒入sql server的速度问题，企盼高手~~
大家都试过sql server的文本导入功能吧，速度非常快，每秒20000条以上
我现有一个文本，格式复杂，需要程序过滤整理然后倒入sql server
用了ado，每秒速度才1000多，程序已经优化到头了，读文本速度基本可以忽略，速度瓶颈就是在写数据库上
然后使用vbsql控件，绕过ado，直接写sql server，但速度几乎没有提升
想问问sql server使用什么引擎来写库的，我写得程序怎么才能到达sql server文本导入的速度
我现有一个文本，格式复杂，需要程序过滤整理然后倒入sql server
用了ado，每秒速度才1000多，程序已经优化到头了，读文本速度基本可以忽略，速度瓶颈就是在写数据库上
然后使用vbsql控件，绕过ado，直接写sql server，但速度几乎没有提升
想问问sql server使用什么引擎来写库的，我写得程序怎么才能到达sql server文本导入的速度
...全文
请发表友善的回复…
发表回复
wstar 2005-08-11
- 打赏
- 举报
"用命令行方式调用dts应该可以解决，具体命令去查帮助吧"
这个也需要事先生成格式化好的（sql可以直接倒入的格式）文本，我的想法是读一行，格式化一行，写入一行（也可批更新），但总之不能有临时文件，几亿行的文本亚，临时文件超过3G呀
这个也需要事先生成格式化好的（sql可以直接倒入的格式）文本，我的想法是读一行，格式化一行，写入一行（也可批更新），但总之不能有临时文件，几亿行的文本亚，临时文件超过3G呀
wstar 2005-08-11
- 打赏
- 举报
"最好的方法，不是用ＳＱＬ语句插入的，是真接用第三方工具，生成数据页，存成文件，数据库可以直接附加上，打开！"
softj(天地客人) 看到了你的回复，十分感谢，不过我有疑问
有这样的工具吗？难道库物理结构微软公开了？有的话提示一下
softj(天地客人) 看到了你的回复，十分感谢，不过我有疑问
有这样的工具吗？难道库物理结构微软公开了？有的话提示一下
wstar 2005-08-11
- 打赏
- 举报
"可以将原文件过滤以后生成一个新的文本文件，再用Sql的文本导入"
我现在暂时就是这种方法，可是这是临时的，毕竟不方便，我想得到sql的接口，以后无论是 文本还是其它的addnew都能够快
我现在暂时就是这种方法，可是这是临时的，毕竟不方便，我想得到sql的接口，以后无论是 文本还是其它的addnew都能够快
ddqinlong 2005-08-11
- 打赏
- 举报
用命令行方式调用dts应该可以解决，具体命令去查帮助吧
hlq8210 2005-08-11
- 打赏
- 举报
up
fanruinet 2005-08-10
- 打赏
- 举报
可以将原文件过滤以后生成一个新的文本文件，再用Sql的文本导入
天地客人 2005-08-10
- 打赏
- 举报
在另个贴子，我回过了，也是看到书上说的，具体我也不明白，不过，我再转述，可能不完整了，请见谅，若楼主关注，我可以找到原书再共同讨论一下！
zengzhengliang 2005-08-10
- 打赏
- 举报
没倒如过
