社区
MS-SQL Server
帖子详情
查询返回大批量数据时怎样节省资源?
bluemiles
2002-06-27 01:08:34
10万条记录的表,select返回所有记录,占用大量系统资源,现欲使用分页式查询,应该怎么实现?
...全文
32
2
打赏
收藏
查询返回大批量数据时怎样节省资源?
10万条记录的表,select返回所有记录,占用大量系统资源,现欲使用分页式查询,应该怎么实现?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
2 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
ching11
2002-06-27
打赏
举报
回复
pb子带的例子里有一个很好的解决办法
CDINnet
2002-06-27
打赏
举报
回复
如果你用前台程序就很容易实现了。
如果想用SQL Server自己控制的话,(假设表中有一个主键ID叫做“ID”):
1。建立一个临时表,只有一个字段“MaxID”
2。第一次读取前1000条记录,例如
select top 1000 * from tablename ...
3。然后读取该1000条记录中的最大ID号,并将它存储到变量或者临时表。
4。接着读取后1000条记录:
select top 1000 * from tablename where ID > maxID ...
你可以将这些语句写成存储过程,存储过程的输入参数就是上次读取的最后的ID号(MaxID)。
这样你的前台程序就可以通过存储过程任意调用其中的一部分记录。
至于一次返回多少条记录,可以根据你电脑的配置,一般128的内存,一次返回1000条记录比较适当。
JAVA用线程池模拟
查询
大批量
数据
在开发过程中可能会碰到某些独特的业务,比如
查询
全部表
数据
,
数据
量过多会导致
查询
变得十分缓慢。如果使用了多线程,相当于多倍的速度去
查询
数据
,极大的提高了效率。
es
大批量
一次性
查询
所有
数据
和
大批量
分页
查询
数据
(使用srcoll scan)
一
大批量
分页
查询
数据
: * 统计用户男女数量、总量、骑行次数等指标 */ public void userInfoIndicate(String adCode,Long orderStartTime, Long orderEndTime,Long userRegisterStartTime,Long userRegisterEnddTime, UserProfileBo ...
如何加速Oracle
大批量
数据
处理
如何加速Oracle
大批量
数据
处理一、 提高DML操作的办法:简单说来:1、暂停索引,更新后恢复.避免在更新的过程中涉及到索引的重建.2、批量更新,每更新一些记录后及
时
进行提交动作.避免大量占用回滚段和或临
时
表空间.3、创建一临
时
的大的表空间用来应对这些更新动作.4、批量更新,每更新一些记录后及
时
进行提交动作.避免大量占用回滚段和或临
时
表空间.5、创建一临
时
es实战之
查询
大量
数据
背景 项目中已提供海量日志
数据
的多维实
时
查询
,客户提出新需求:将
数据
导出。 将
数据
导出分两步:
查询
大量
数据
将
数据
生成文件并下载 本文主要探讨第一步,在es中
查询
大量
数据
或者说
查询
大
数据
集。 es支持的
查询
数量 es默认支持的
查询
数量或者说
查询
深度是10,000。 可以动态修改max_result_window这个参数的设置,默认为10,000。 PUT xz-logs/_settings?...
如何处理大
数据
量的
查询
在实际的任何一个系统中,
查询
都是必不可少的一个功能,而
查询
设计的好坏又影响到系统的响应
时
间和性能这两个关键指标,尤其是当
数据
量变得越来越大
时
,于是如何处理大
数据
量的
查询
成了每个系统架构设计
时
都必须面对的问题。本文将从
数据
及
数据
查询
的特点分析出发,结合讨论现有各种解决方案的优缺点及其适用范围,来阐述J2EE平台下如何进行
查询
框架的设计。Value List Handler模式及其局限性在J2EE应用
MS-SQL Server
34,594
社区成员
254,589
社区内容
发帖
与我相关
我的任务
MS-SQL Server
MS-SQL Server相关内容讨论专区
复制链接
扫一扫
分享
社区描述
MS-SQL Server相关内容讨论专区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章