sqlserver 2008 新手求教性能问题，10万左右数据如何导入？

[tomkillua]

每天有10万条数据，会导入到数据库
数据库的配置比较低端，8G内存，server 2008系统 64位
每次都占满内存。

我想，可以不可以这样？
有类似于windows消息队列的机制那样，不要一下子疯狂的导入，然后就把服务器卡住了，操作什么都很慢。甚至都打不开了。
最好可以1条1条的insert或者是 10条10条的来。
保持CPU和内存的使用率在80%左右，否则100%太坑爹了。

[coollcf]

10W插入所用的时间是很短的.

[Q315054403]

区区10万条，不足够耗用8G RAM 对于数据导入，建议每次数千或一两万条，偶特别测试过 性能问题是其他访问负荷导致的，应该优化或从设计上改进

[吉普赛的歌]

1. SqlServer可以设置最大内存的， 不必担心。 2. .net 中的 SqlBulkCopy 可实现高速高效的插入， 如果是非常简单的表， 也许就几秒 http://blog.csdn.net/yenange/article/details/35837247 , 代码供参考。 3. 其它的程序、服务好好查看一下其进程， 是否有比较大的占用。

[發糞塗牆]

按你的说法，根本不存在问题啊，我这边每小时前15分钟内就要导入40万数据，并且还要包括更新操作，都没问题。配置不比你的好

[發糞塗牆]

http://msdn.microsoft.com/en-us/library/dd425070.aspx

[tomkillua]

引用 1 楼 DBA_Huangzj 的回复:

按你的说法，根本不存在问题啊，我这边每小时前15分钟内就要导入40万数据，并且还要包括更新操作，都没问题。配置不比你的好

我这边这个服务器也是web服务器，还包括查询。而且这些数据全部都要update过一次。

[發糞塗牆]

update逻辑复杂不？

[黑暗中的光芒]

10万条数据导入应该很快的，你看看你有没有复杂的逻辑

[tomkillua]

引用 4 楼 DBA_Huangzj 的回复:

update逻辑复杂不？

不是复杂，就是更改一个状态，把所有的0改成1。 我自己查过一些资料，说是sqlserver会用到系统只剩几M内存，看来服务器卡死不是简单的怪sqlserver内存占用问题。

[tomkillua]

不过是否有这样的功能和实现方式啊。 有类似于windows消息队列的机制那样，，假如有100亿数据，就可以慢慢来insert了。。。

[發糞塗牆]

引用 6 楼 tomkillua 的回复:

[quote=引用 4 楼 DBA_Huangzj 的回复:] update逻辑复杂不？

不是复杂，就是更改一个状态，把所有的0改成1。 我自己查过一些资料，说是sqlserver会用到系统只剩几M内存，看来服务器卡死不是简单的怪sqlserver内存占用问题。[/quote]这资料很扯淡。没这个说法。 你要更新的话，可以在insert的过程中把对应的状态列更新，比如： insert into tb(col1,col2,状态列) select col1,col2,1 from 插入的数据源 这样插入后直接状态列就是1了，不用再次update

[發糞塗牆]

有队列，但是10万级别真没这个必要

[Neo_whl]

10万条数据，我曾经做过测试，如果业务逻辑不是很复杂，只要13秒，我的电脑配置是双核，内存4g，win7，可能你服务器是不是装了其他应用程序，看看CPU占有都是sqlserver么？

[---涛声依旧---]

我估计是死锁了，楼主能否把导入、更新的代码贴出来啊

[卖水果的net]

10W 条数据是哪个时间点导入的？ 检查一下有没有其他的作业用到了同一张表，10W 不算大数据。

[xiaoxiangqing]

用bcp或者SqlBulkCopy

[jjx5373]

我觉得，你应该把你导入的流程说清楚。 如何导入的。 10W数据，服务器就抗不住了，是硬盘吃不消了吗？

[tomkillua]

这个问题这样问，不算是个好问题。下次我重新发起吧。