社区
Framework
帖子详情
CI框架select查询一次性取出大量数据优化方案
Houkouki
2019-03-20 09:18:45
各位大神,请教个问题,我有50万数据需要从表中查询出来并处理。
方案一:使用$query->result_array(),分页(假设10000条每页)取出数据,然后每页处理数据;
方案二:使用$query->unbuffered_row(),一条一条取出数据,一条一条处理数据。
请问哪种方案好,为什么?
...全文
372
2
打赏
收藏
CI框架select查询一次性取出大量数据优化方案
各位大神,请教个问题,我有50万数据需要从表中查询出来并处理。 方案一:使用$query->result_array(),分页(假设10000条每页)取出数据,然后每页处理数据; 方案二:使用$query->unbuffered_row(),一条一条取出数据,一条一条处理数据。 请问哪种方案好,为什么?
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
2 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
床上等您
2019-03-20
打赏
举报
回复
你取出来干嘛用的?
一般情况下,是分页取好点,一次取一批
Houkouki
2019-03-20
打赏
举报
回复
引用 1 楼 床上等您 的回复:
你取出来干嘛用的? 一般情况下,是分页取好点,一次取一批
取出来计算,然后写入一张表同时更新另一张表,实际情况不止50万,可能会超百万。我现在也是按方案一做的,再看看有没有可以优化的,看到文档提到$query->unbuffered_row()这个方法,就发个帖子,大家讨论学习一下。 因为之前是没有使用分页处理,数据量太大,造成php分配的内存不够用,后来用的方案一做了优化。
mysql 百万级
数据
库
优化
方案
一、百万级
数据
库
优化
方案
1.对
查询
进行
优化
,要尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表...
百万级
数据
库
优化
方案
--Oracle 性能
优化
总结
1.对
查询
优化
,尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。复制最好不要给
数据
库留NULL,尽可能的使用 NOT NULL填充
数据
库.备注、描述、评论之类的可以设置为 NULL,其他的,最好不要...
数据
库SQL
优化
大总结之 百万级
数据
库
优化
方案
网上关于SQL
优化
的教程很多,但是比较杂乱。近日有空整理了一下,写出来跟大家分享一下,其中有...一、百万级
数据
库
优化
方案
1.对
查询
进行
优化
,要尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列
数据
库
优化
之百万级
数据
方案
因此在开发系统的时候,表结构设计是否合理,sql语句是否标准,写出的sql性能是否
优化
往往会成为公司衡量程序员技术水平的标准。 我们程序员不是dba,不需要时刻关注sql运行时间,想方设法
优化
表结构,存储空间,...
SpringBoot实现Mysql百万级
数据
量导出并避免OOM的解决
方案
SpringBoot实现Mysql百万级
数据
量导出并避免OOM的解决
方案
文章目录SpringBoot实现Mysql百万级
数据
量导出并避免OOM的解决
方案
前言JPA实现百万级
数据
导出MyBatis实现百万级
数据
导出MyBatis实现百万级
数据
导出的具体...
Framework
4,250
社区成员
4,522
社区内容
发帖
与我相关
我的任务
Framework
国内外优秀PHP框架讨论学习
复制链接
扫一扫
分享
社区描述
国内外优秀PHP框架讨论学习
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章