关于大数据量的查询,请高手赐教!

bjddd192 2010-11-06 01:02:25
本人做了一个报表,很简单,就是去查一张表,但是这个表越来越大了,现在大概有80万的数据了,但是又不能把查询条件限制死,因此,有时候用户不输条件去查,把自己电脑都查挂了,因此我想能不能实现首先只查10000条出来,想要看后面的再继续查,我不想用分页,不想用top *去在查询语句里面实现,因为对于存储过程的修改太大,我想知道在.NET里面有没有机制让我执行一个语句,查到多少行就中断然后返回结果给我,而不是要全部查出再返回。期待答案~
...全文
257 33 打赏 收藏 转发到动态 举报
写回复
用AI写文章
33 条回复
切换为时间正序
请发表友善的回复…
发表回复
bjddd192 2010-11-24
  • 打赏
  • 举报
回复
[Quote=引用 20 楼 kscode 的回复:]
你写个方法。在数据操作层,用打datareader读取记录转为List<class>集合。当list的count数量达到1000时候阻塞线程,当下次需要数据的时候传一个状态值重新开启线程。
[/Quote]
我试了这个朋友的方法,应该就是我想要的,的确可以从数据填充上缩小时间,谢了
peng2739956 2010-11-19
  • 打赏
  • 举报
回复
TOP 可以 但是 LZ可以做索引啊 这样查询效率高 也不导致你死机啊。。。 我的建议是:创建索引查。
bjddd105 2010-11-19
  • 打赏
  • 举报
回复
关注!!期待啊!!
pasic 2010-11-19
  • 打赏
  • 举报
回复
读出来 在DataTable中控制呢?
bjddd192 2010-11-18
  • 打赏
  • 举报
回复
[Quote=引用 28 楼 ttyyadd 的回复:]
最好在存储过程里面实现分布,在页面上效率太低了。
[/Quote]
我们的架构没有进行分页处理。。唉~,杯具
但真的希望能够知道toad的那种查询方式
ttyyadd 2010-11-18
  • 打赏
  • 举报
回复
最好在存储过程里面实现分布,在页面上效率太低了。
w5588660 2010-11-18
  • 打赏
  • 举报
回复
用top吧 别的应该没什么好办法了
bjddd192 2010-11-18
  • 打赏
  • 举报
回复
[Quote=引用 21 楼 latin55 的回复:]
ADO.NET 有个对象 SqlDataAdapter 的Fill方法

它的重载里有个 4个参数的 (SQL语句,起始页码,结束页码,表名)

你要不想写存储过程 就这样
[/Quote]
我试试看看
bjddd192 2010-11-18
  • 打赏
  • 举报
回复
[Quote=引用 20 楼 kscode 的回复:]
你写个方法。在数据操作层,用打datareader读取记录转为List<class>集合。当list的count数量达到1000时候阻塞线程,当下次需要数据的时候传一个状态值重新开启线程。
[/Quote]
能不能举个例子啊,朋友
bjddd192 2010-11-18
  • 打赏
  • 举报
回复
[Quote=引用 22 楼 michael23lb 的回复:]
有,如果你用的是vs2010 就可以用lambda 表达式。
[/Quote]
能不能举例说明下?
kscode 2010-11-12
  • 打赏
  • 举报
回复
因为对于存储过程的修改太大?所以你不想分页
我不认为有什么修改。你就将你原来没实现分页的查询当做一个新表,在新表的基础上
再进行一次查询不就好了,修改应该不大
bjddd105 2010-11-12
  • 打赏
  • 举报
回复
友情支持一下
michael23lb 2010-11-12
  • 打赏
  • 举报
回复
有,如果你用的是vs2010 就可以用lambda 表达式。
latin55 2010-11-12
  • 打赏
  • 举报
回复
ADO.NET 有个对象 SqlDataAdapter 的Fill方法

它的重载里有个 4个参数的 (SQL语句,起始页码,结束页码,表名)

你要不想写存储过程 就这样
kscode 2010-11-12
  • 打赏
  • 举报
回复
你写个方法。在数据操作层,用打datareader读取记录转为List<class>集合。当list的count数量达到1000时候阻塞线程,当下次需要数据的时候传一个状态值重新开启线程。
bjddd192 2010-11-09
  • 打赏
  • 举报
回复
顶一下,这么多大师来了,不然帖子沉了~~~
bjddd192 2010-11-09
  • 打赏
  • 举报
回复
[Quote=引用 10 楼 whb147 的回复:]

传说用异步可以

比如说:先执行一个top 1000,返回
然后在他滚动鼠标的时候,在执行剩下的操作

在滚动到1000行的时候,差不多也够了
[/Quote]

这位兄弟挺有见解,我觉得也是可以实现的,因为我用的Toad for DB2 Freeware就是一款这样的软件,可以以这种方式来查询,相信用过Toad for Oracle的应该也体会到这种好处,现在的难点是用语句实现top我觉得没有太大的难点,主要是如果是存储过程返回结果集的呢?那种又该如何实现,老外的软件是可以的哦。。期盼~等待~
bjddd192 2010-11-09
  • 打赏
  • 举报
回复
高手都去哪里了啊
「已注销」 2010-11-07
  • 打赏
  • 举报
回复
每天回贴有10分哦!
SmilingKevin 2010-11-07
  • 打赏
  • 举报
回复
学习一下
加载更多回复(10)
内容概要:本文围绕不确定环境下的多式联运路径优化问题展开研究,提出并实现了基于AFO算法、遗传算法(GA)和粒子群优化算法(PSO)的三种智能优化方法,并借助Matlab平台完成算法编程与仿真。研究构建了考虑时间、成本、转运风险等多重不确定因素的路径优化模型,系统比较了AFO、GA、PSO三种算法在收敛速度、全局寻优能力和稳定性方面的表现,同时引入Matlab自带的全局优化搜索器作为基准对照,深入分析各算法在复杂物流网络中的适用边界与性能差异。研究表明,AFO算法在解决此类组合优化问题时展现出更快的收敛效率和更强的局部规避能力。; 适合人群:具备一定Matlab编程基础与运筹优化知识,从事物流工程、交通运输规划、智能算法开发等相关领域的研究生、科研人员及工程技术人员。; 使用场景及目标:①应用于多式联运、综合货运网络中的路径决策支持系统构建;②为不确定性条件下复杂路径规划问题提供智能算法选型依据与技术实现方案;③支持科研人员复现主流优化算法并开展横向性能对比实验,推动算法改进与实际落地。; 阅读建议:建议读者结合提供的Matlab代码逐模块分析算法实现流程,重点理解目标函数设计、约束条件处理及参数敏感性分析部分,可通过调整问题规模与算法参数进行对比实验,进一步拓展至动态路径规划或大规模网络优化等延伸场景。
内容概要:本文研究了基于QLearning自适应强化学习的PID控制器在自主水下航行器(AUV)运动控制中的应用,通过Matlab代码实现了控制算法的仿真验证。该方法融合强化学习的在线自适应能力与传统PID控制的稳定性优势,利用QLearning算法动态优化PID控制器的比例、积分、微分参数,以应对水下复杂流体环境、模型不确定性及外部干扰等挑战,从而提升AUV轨迹跟踪的精度、鲁棒性与动态响应性能。文中系统阐述了AUV的六自由度非线性动力学建模过程、QLearning算法的状态空间与动作空间设计、奖励函数构造及训练机制,并详细说明了PID参数自整定的闭环控制架构。仿真结果表明,相较于传统固定参数PID控制器,该智能控制策略在多种工况下均展现出更优的控制效果,有效抑制了超调,加快了响应速度,并增强了抗干扰能力。; 适合人群:具备自动控制理论、强化学习基础及Matlab/Simulink仿真能力,从事水下机器人、智能控制、海洋工程、自动化等领域的研究生、科研人员及工程技术人员。; 使用场景及目标:①应用于AUV、UUV等无人水下平台的高精度自主导航与运动控制;②为解决非线性、强耦合、时变系统的控制器参数自适应整定问题提供智能化解决方案;③作为强化学习与经典控制理论深度融合的技术范例,推动智能控制算法在海洋装备中的工程化应用。; 阅读建议:建议读者结合提供的Matlab代码深入理解算法实现细节,重点剖析QLearning的状态-动作-奖励机制设计、PID参数更新逻辑及仿真对比实验结果,有条件者可在更复杂的动力学模型或实际硬件平台上进一步验证与优化算法性能。

111,129

社区成员

发帖
与我相关
我的任务
社区描述
.NET技术 C#
社区管理员
  • C#
  • Creator Browser
  • by_封爱
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

让您成为最强悍的C#开发者

试试用AI创作助手写篇文章吧