大数据量DataSet操作

[HaveOneDream]

DataSet里面某个表加载了十万条记录（项目要求把数据资料都加载到内存中，此点暂时设为不可变）

1、通过select()方法效率不高（）
2、采用DataView，效率有所提高，但在低配置的机子上CPU还是占用极高，查询速度很慢
3、考虑过用linq，但网上说数据查询性能不高

如何针对此种大数据量的DataSet进行较快过滤和过滤完后的分页处理

[ruanwei1987]

存储过程。。。一页一页的分吧

[王顺起]

存储过程是最好的办法，处理大批量的数据时候个人感觉还是存储过程比较好

[hwbox]

你说的三种方法都是换汤不换汤全部依赖于dataset类的检索方法。不改dataset数量级的情况下，真是想不出什么好方法。难到你打算扩展dataset类，在上面建索引？

[L_terry]

推荐用存储过程处理分页
给表建索引加快查询速度

[一克代码]

用数据库分页，不要在前台分页！
还有就是用存储过程！

[bdmh]

分页，或按条件查询，不要一次性select

[一克代码]

sql语句一次只读一次的分页！

[hongjiaoli]

用存储过程+缓存

[HaveOneDream]

[Quote=引用 1 楼 adsdassadfasdfasdf 的回复:]
用数据库分页，不要在前台分页！
还有就是用存储过程！
[/Quote]
这点我知道，谢谢你的回答
这里我们不考虑DataSet的取数方式
请在DataSet数据量为十万的前提下给出解决方案，谢谢哈

[whb147]

那就没什么好办法了
10万呀，不是小数目
你计算一下，要占多少内存

[HaveOneDream]

DataSet有没有办法分页呢
对DataSet进行分块，可不可行

[whrspsoft3723]

[Quote=引用楼主 haveonedream 的回复:]
DataSet里面某个表加载了十万条记录（项目要求把数据资料都加载到内存中，此点暂时设为不可变）

1、通过select()方法效率不高（）
2、采用DataView，效率有所提高，但在低配置的机子上CPU还是占用极高，查询速度很慢
3、考虑过用linq，但网上说数据查询性能不高

如何针对此种大数据量的DataSet进行较快过滤和过滤完后的分页处理
[/Quote]

三者都不能用，那只有自己写数据结构来实现这个功能。
针对你的具体需求，有针对性地做一些算法优化（尽量减少装箱操作）。
提高性能是需要付出代价的。

[cjh200102]

用存储过程，每次要多少数据就返回多少。

[熙风]

存储过程分页····

[蒋晟]

查询速度得看数据库设计的好不好，索引的利用是否有效。
DataSet的查询速度是最慢的。数据库引擎的检索速度不会比DataSet的差的

[小童]

数据库分页吧,

[Fry_cici]

没必要把数据都放在DataSet 中 太耗内存 可以在数据库中进行筛选
数据也可以保存在缓存中

[lijavasy]

[Quote=引用 13 楼 baysos 的回复:]
为什么硬要一次性取10W条数据~~？？
顺便一顶……
[/Quote]
up

[HaveOneDream]

现在的想法是把数据写到sqlite,然后需要时再从sqlite读取,不知这样是否可行

[sunzhi523]

以后多多交流 哦。。。