社区
MS-SQL Server
帖子详情
请教高手,数据导入的问题!!!
zhuawang
2012-07-06 08:27:33
我的数据库有一张表,里面已经有几千万条记录,以后可能会更多。现在我要往这张表中导入数据。数据是从文本文件导进去的。要导入的文本文件有好几十个,每个文本文件也就是在几百万条记录左右。可是我现在导入就已经很慢了,每导一个文本都要花几个小时甚至更久。请问有什么好的方法导入数据吗?我现在用的是数据库自带的导入导出向导。有别的更好的方法吗?谢谢!!!
...全文
87
5
打赏
收藏
请教高手,数据导入的问题!!!
我的数据库有一张表,里面已经有几千万条记录,以后可能会更多。现在我要往这张表中导入数据。数据是从文本文件导进去的。要导入的文本文件有好几十个,每个文本文件也就是在几百万条记录左右。可是我现在导入就已经很慢了,每导一个文本都要花几个小时甚至更久。请问有什么好的方法导入数据吗?我现在用的是数据库自带的导入导出向导。有别的更好的方法吗?谢谢!!!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
5 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
zhuawang
2012-07-07
打赏
举报
回复
[Quote=引用 2 楼 的回复:]
用BCP和Bulk Insert本身就很快,如果你用2005以后的SQLServer,建议先做分区。这样在插入的时候是可以并行插入,提高速度,然后插入时先禁用索引及触发器。同时把数据库恢复模式短暂转换成大容量日志。因为你这种操作一般不会在上班时间操作,所以上面那些操作都是可行的。
[/Quote]
请问先做分区该怎么做?
天-笑
2012-07-07
打赏
举报
回复
楼主可以用SSIS工具导入,导入时选择文件,选Bulk Insert。
这样会提高一点效率,但是从楼主的数据量来看,
还是先将文件用Bulk Insert导入到若干个同结构的数据表里;
最后合并成一张表,不过这个表也太大了,楼主有必要研究下 分区表
以学习为目的
2012-07-07
打赏
举报
回复
我也想知道大量数据的导入有什么办法可以提高导入速度
發糞塗牆
2012-07-06
打赏
举报
回复
用BCP和Bulk Insert本身就很快,如果你用2005以后的SQLServer,建议先做分区。这样在插入的时候是可以并行插入,提高速度,然后插入时先禁用索引及触发器。同时把数据库恢复模式短暂转换成大容量日志。因为你这种操作一般不会在上班时间操作,所以上面那些操作都是可行的。
shoppo0505
2012-07-06
打赏
举报
回复
新建一个相同的结构的表,先导入到新表,然后再合并。
倒入时间肯定会短很多,但是之后表数据合并需要一点时间,但是可以根据需要来操作,可能因为数据太多,你必须分表。
大学 报名 录取 系统
因为报名的学生很多,为避免学生个人信息泄露,我只能将报上来的学生信息...怎么样才能让我
导入
的
数据
出现在管理后台,同时让报名的信息可以显示在后台,
请教
高手
. 是不是只要手工操作了
数据
库,报名系统本身的作用就失效了?
asp.net知识库
SubmitOncePage:解决刷新页面造成的
数据
重复提交
问题
SharpRewriter:javascript + xml技术利用#实现url重定向 采用XHTML和CSS设计可重用可换肤的WEB站点 asp.net的网址重定向方法的比较:面向搜索引擎友好 也谈 ...
请教
SQL
问题
数据
导入
我在
数据
导入
到ERP系统的时候遇到这么一个
问题
,到现在也不是很明白其中的
问题
所在。我做了一张Excel表格,表内容的第一行列出了所有与ERP
数据
相吻合的字段,其他行是根据字段加入了相应的内容。字段名是TEL1,内容...
oracle
数据
怎么
导入
mssql,如何将Oracle中的
数据
导入
到SQL Server中来!
如何将Oracle中的
数据
导入
到SQL Server中来!我用的ORACLE9I及SQL SERVER2005,
导入
的时候选的的是Oracle Provider for OLE DB,每次都只能
导入
很少一部分
数据
,然后就是
导入
错误以及停止,错误报告也下!操作已...
请教
各位
高手
!关于.txt的批量文本
导入
SQL
数据
库的实现方法!
我有批量的.txt文本文件,需要把里面的
数据
导入
到SQL
数据
库中。文件中
数据
用逗号分隔。请问用什么办法好?请
高手
们赐教!不胜感激!
MS-SQL Server
34,594
社区成员
254,589
社区内容
发帖
与我相关
我的任务
MS-SQL Server
MS-SQL Server相关内容讨论专区
复制链接
扫一扫
分享
社区描述
MS-SQL Server相关内容讨论专区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章