百万数据查询问题

[simplysky]

现通过存储过程从数据中取出近 一百万条数据，装载到一个DataTable中，现在要对这一百万的数据进行遍历，怎么写好

[转角处灬守候]

百万数据遍历 ！！！你不能明确点查询，缩小数据量吗

[以专业开发人员为伍]

你是30分钟进行查询一次吗？你们的系统是单用户使用吗？

[正怒月神]

首先，百万数据装到datatable，我不是很看好。 其次，具体操作这些数据的逻辑，能否通过存储过程来搞定呢？ 最后，如果数据不变，那么可以装到datatable中缓存起来。 如果数据不停变更，那么你装在数据到datatable然后操作。显得不太明智啊。

[shoppo0505]

我只能说很奇葩的需求

[我叫小菜菜]

引用 4 楼 shoppo0505 的回复:

我只能说很奇葩的需求

+1. 建议直接拒绝这种想法

[yuanshuai1233]

一次取100多万的数据 数据库会不会直接死在那了

[秋的红果实]

这个不现实，取出满足某些条件的数据即可

[空白桑]

。。。 为啥要一次取一百万 光取就很费劲了 还要遍历 。。。

[TowDemo]

关注这个问题

[ttthank__you]

遍历的目的是什么，修改数据什么的可以在数据里面直接做，显示数据的话分页。

[simplysky]

引用 3 楼 hanjun0612 的回复:

首先，百万数据装到datatable，我不是很看好。 其次，具体操作这些数据的逻辑，能否通过存储过程来搞定呢？ 最后，如果数据不变，那么可以装到datatable中缓存起来。 如果数据不停变更，那么你装在数据到datatable然后操作。显得不太明智啊。

往来对账明细，数据很大，涉及到一些列计算，在存储过程中处理更麻烦，能在存储过程中计算的都是计算好了的

[圣殿骑士18]

方案极度不合理。往来账是顺序账目，你就不能取一部分处理一部分？

[只怕不在遇上]

建议用多少取多少 一次取一百万条 还要遍历 极度不合理

[加油馒头]

C#datatable 有一个search()方法,传入筛选条件，在内存中筛选

[小灰狼]

100W条记录全部读到内存里来？？ 完全可以优化的

[正怒月神]

引用 11 楼 simplysky 的回复:

[quote=引用 3 楼 hanjun0612 的回复:] 首先，百万数据装到datatable，我不是很看好。 其次，具体操作这些数据的逻辑，能否通过存储过程来搞定呢？ 最后，如果数据不变，那么可以装到datatable中缓存起来。 如果数据不停变更，那么你装在数据到datatable然后操作。显得不太明智啊。

往来对账明细，数据很大，涉及到一些列计算，在存储过程中处理更麻烦，能在存储过程中计算的都是计算好了的[/quote] 可是百万的数据量，你是如何展示的呢？一般来说需要分页显示的。 而且如果你是要导出xls的话，百万应该也不会有人看。一般是人家根据条件查询后，来获取自己要的信息吧？

[大鱼>]

百万条数据，你要查询多久啊？这个数据量 有点大，查询要好久。

[编程有钱人了]

一个用户取100万，10个用户取1000万就是，哈哈哈 你服务器多大内存都不够用！都是分页取的