16,555
社区成员
发帖
与我相关
我的任务
分享.net数据存储问题
在.NET中，怎么才能快速的将数据库中的数据导入到本地来，如果数量量过大（比如，3万-30万条），怎么才能实现数据的快速查找和定位。再讨论一下.NET程序内存占用问题，为什么打开的时候占用的内存是最小化的7-8倍，有什么解决方法，大家讨论一下。
...全文
请发表友善的回复…
发表回复
HAVENT 2006-03-11
- 打赏
- 举报
另外用DataReader快取到DataTable再做其他具体操作更能节约数据库服务器的资源占用
HAVENT 2006-03-11
- 打赏
- 举报
查询只读操作最好不要用DataAdapter，采用DataReader会更快
一次性读到内存……想法太恐怖了……
如果是远程数据可以考虑做个本地数据库来缓存，这样不用每次都远程查询，不过同步数据也不是个简单差使
如果查询连接是本地数据库，也没什么必要全部加载到内存吧，小量数据还行，海量数据你不是自寻死路……
一次性读到内存……想法太恐怖了……
如果是远程数据可以考虑做个本地数据库来缓存，这样不用每次都远程查询，不过同步数据也不是个简单差使
如果查询连接是本地数据库，也没什么必要全部加载到内存吧，小量数据还行，海量数据你不是自寻死路……
夜雨悠扬 2006-03-10
- 打赏
- 举报
赫赫终于明白了，原来是这样的。
其实多次查询，少量数据传输是对的，这样的速度也会快
其实多次查询，少量数据传输是对的，这样的速度也会快
dragonlus 2006-03-10
- 打赏
- 举报
看来只有用这样的方法了，我主要是想做一个大的查询，关联的表比较多，数据量比较多，看来只有按要求来查询，每查询一次就连接一次数据库了，我本来想将所有的数据都载入到内存中查询起来方便，看来速度实在让人吃不消。
夜雨悠扬 2006-03-08
- 打赏
- 举报
忘了，还有一个，如果需要数据备份的话，最好是在服务端和客户端同时做
也就是服务端备份，客户端下载
也就是服务端备份，客户端下载
夜雨悠扬 2006-03-08
- 打赏
- 举报
同意 cattleknife(解牛刀) 的看法
对于大批量的数据传输没有什么更好的办法，受到网络瓶颈的限制，我们不可能让一个512K的网路在几秒钟的时间里面传输几十M的数据。
如果是需要显示的话，
Web程序可以采用分批查询，然后爬格子
如果Form程序，可以采用分批查询，逐渐显示的方法。
其实包括SQL的企业管理器采用的也是这样的方法，如果数据超出10万的话，就可以看出效果的。
对于大批量的数据传输没有什么更好的办法，受到网络瓶颈的限制，我们不可能让一个512K的网路在几秒钟的时间里面传输几十M的数据。
如果是需要显示的话，
Web程序可以采用分批查询，然后爬格子
如果Form程序，可以采用分批查询，逐渐显示的方法。
其实包括SQL的企业管理器采用的也是这样的方法，如果数据超出10万的话，就可以看出效果的。
cattleknife 2006-03-07
- 打赏
- 举报
如果你是查找或定位的话，你在服务器端用存储过程不是更爽，只传一个结果过来。
服务器要比你的PC要快吧，从网上倒这么多数据要比在服务器硬盘上做读取要慢吧。
服务器要比你的PC要快吧，从网上倒这么多数据要比在服务器硬盘上做读取要慢吧。
cattleknife 2006-03-07
- 打赏
- 举报
你是干嘛用的,如果是查询一次性，能显示这么多数据吗，我怎么看，怎么象是服务器之间在做备份啊。读数据是DataReader最快，你可以去看看PetShop示例。当初是拿他来和Java程序拼速度的，结果嘛，呵呵，.net能流行起来就是结果
dragonlus 2006-03-06
- 打赏
- 举报
闵峰，跑那里去了，水。
这里的人气少了很多，这样的问题估计MICROSOFT也不知道该什么办，他们的办法估计也差不多，我到他们文档上看了那么多也就那样，各位搞了那么久的开发，还有没有什么样的好办法。
这里的人气少了很多，这样的问题估计MICROSOFT也不知道该什么办，他们的办法估计也差不多，我到他们文档上看了那么多也就那样，各位搞了那么久的开发，还有没有什么样的好办法。
水如烟 2006-03-06
- 打赏
- 举报
最快的方法是拆分数据库,下载数据库文件,说笑.
dragonlus 2006-03-06
- 打赏
- 举报
看来只有分页或者是分批导入了，还有没有别的办法，顶上去先
dragonlus 2006-02-24
- 打赏
- 举报
怎么没人来回答呢，是不是这里的人气不够啊
liym15 2006-02-24
- 打赏
- 举报
可以分批导入,就是说你要几条记录就先导入几条,这样就会快.而不是一下子全部导出来
机器人 2006-02-23
- 打赏
- 举报
用VB.NET导数据肯定不如直接用SqlServer导出数据快呀。
ilove8 2006-02-23
- 打赏
- 举报
分批导入,可以吗,多查询几次
dragonlus 2006-02-23
- 打赏
- 举报
顶上去，怎么没人来了呢！！！！
dragonlus 2006-02-23
- 打赏
- 举报
怎么优化，举个例子，不是很清楚你的意思 Tony8002003(冷)
Tony8002003 2006-02-23
- 打赏
- 举报
我对数据库的操作和你一样。把ＳＱＬ Ｓｅｒｖｅｒ优化就行了
dragonlus 2006-02-23
- 打赏
- 举报
那到是肯定的，是不是所以的人都会直接用数据库也不用程序呢，那我们搞程序开发的快没有饭吃了！！呵呵
zlp321002 2006-02-22
- 打赏
- 举报
BCP 批量导到服务器端,然后客户端到服务器端去下载!
加载更多回复（4）
