分页怎么处理海量数据

2010-11-07 01:47:51 138 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

Kettle处理分页API接口实战：如何优雅地抽取海量数据并记录ETL时间本文详细介绍了使用Kettle处理分页API接口的实战技巧，包括动态获取总页数、循环遍历数据、高效合并入库等核心步骤。通过优化ETL流程和记录时间戳，实现海量数据的高效抽取与数据质量管理，特别适合数据库ETL场景下的分页数据抽取需求。阅读详情

数据有很多我分页怎么处理，能最大限度减轻服务器负担

希望各位能贴出代码

...全文

Ubuntu 24.04 极速部署 Dify：从零到一的保姆级实践本文详细介绍了在Ubuntu 24.04系统上快速部署Dify的完整教程，从环境准备到部署验证，再到深度优化和安全加固，提供了一套保姆级的实践指南。通过使用Docker和Docker Compose，结合国内镜像源加速，帮助用户高效完成Dify的安装和配置，确保系统稳定运行。阅读详情

yujiayou

.NET社区 62,272 成员 668,968 内容

+ 关注 + 加入社区

切换为时间正序

tiaoziwoshi 2010-11-07

打赏
举报

如果是ajax访问后台的话界线一般是3000 先得到一个count 在读3000条

对于这读出来的3000条前台js就可以分页

当分页页码超过3000条的话再次访问数据库

phil999 2010-11-07

打赏
举报

LZ可以搜: 分页存储过程

不过我觉得这个其实是没必要的，你不太可能写一个返回1万条记录的查询，否则用户就得翻1000页

redboy999 2010-11-07

打赏
举报

这是SQL2005的存储过程
其中使用了row_number() over (order by '+ @OrderString +') 所以相对sql2000要好用点
sql2000的就不在此列举了论坛里面很多





  

CREATE PROCEDURE [dbo].[PROCE_SQL2005PAGECHANGE]

(

 @TableName varchar(50),            --表名

 @ReFieldsStr varchar(200) = '*',   --字段名(全部字段为*)

 @OrderString varchar(200),         --排序字段(必须!支持多字段不用加order by)

 @WhereString varchar(500) =N'',  --条件语句(不用加where)

 @PageSize int,                     --每页多少条记录

 @PageIndex int = 1 ,               --指定当前为第几页

 @TotalRecord int output            --返回总记录数

)

AS

 

BEGIN    



    --处理开始点和结束点

    Declare @StartRecord int;

    Declare @EndRecord int; 

    Declare @TotalCountSql nvarchar(500); 

    Declare @SqlString nvarchar(2000);    

    set @StartRecord = (@PageIndex-1)*@PageSize + 1

    set @EndRecord = @StartRecord + @PageSize - 1 

    SET @TotalCountSql= N'select @TotalRecord = count(*) from ' + @TableName;--总记录数语句

    SET @SqlString = N'(select row_number() over (order by '+ @OrderString +') as rowId,'+@ReFieldsStr+' from '+ @TableName;--查询语句

    --

    IF (@WhereString! = '' or @WhereString!=null)

        BEGIN

            SET @TotalCountSql=@TotalCountSql + '  where '+ @WhereString;

            SET @SqlString =@SqlString+ '  where '+ @WhereString;            

        END

    --第一次执行得到

    --IF(@TotalRecord is null)

    --   BEGIN

           EXEC sp_executesql @totalCountSql,N'@TotalRecord int out',@TotalRecord output;--返回总记录数

    --  END

    ----执行主语句

    set @SqlString ='select * from ' + @SqlString + ') as t where rowId between ' + ltrim(str(@StartRecord)) + ' and ' +  ltrim(str(@EndRecord));

    Exec(@SqlString)    

END

小_虎 2010-11-07

打赏
举报

关于缓存依赖，我以前测试了一个东西，可以看下

http://topic.csdn.net/u/20100830/10/f679971c-5d55-4335-876b-42f5cb9c2438.html

http://www.52coding.net

小_虎 2010-11-07

打赏
举报

所谓分页，一般就是说如果你有10000条数据，每页显示10条，当你只需要显示1001-1010的时候，

只需要查询出这中间的10条数据，而不是把所有数据查询出来。

效率方面跟随sp1234学习的说，一般应用缓存就可以了，另一方面需要应用缓存依赖。（这个一般性的网站到不是大问题）。

缓存一般分为页面缓存，局部用户控件缓存。服务端Cache缓存等。

我的个站：我爱编码

分页怎么处理海量数据

相关推荐