社区
Framework
帖子详情
CI框架select查询一次性取出大量数据优化方案
Houkouki
2019-03-20 09:18:45
各位大神,请教个问题,我有50万数据需要从表中查询出来并处理。
方案一:使用$query->result_array(),分页(假设10000条每页)取出数据,然后每页处理数据;
方案二:使用$query->unbuffered_row(),一条一条取出数据,一条一条处理数据。
请问哪种方案好,为什么?
...全文
373
2
打赏
收藏
CI框架select查询一次性取出大量数据优化方案
各位大神,请教个问题,我有50万数据需要从表中查询出来并处理。 方案一:使用$query->result_array(),分页(假设10000条每页)取出数据,然后每页处理数据; 方案二:使用$query->unbuffered_row(),一条一条取出数据,一条一条处理数据。 请问哪种方案好,为什么?
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
2 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
床上等您
2019-03-20
打赏
举报
回复
你取出来干嘛用的?
一般情况下,是分页取好点,一次取一批
Houkouki
2019-03-20
打赏
举报
回复
引用 1 楼 床上等您 的回复:
你取出来干嘛用的? 一般情况下,是分页取好点,一次取一批
取出来计算,然后写入一张表同时更新另一张表,实际情况不止50万,可能会超百万。我现在也是按方案一做的,再看看有没有可以优化的,看到文档提到$query->unbuffered_row()这个方法,就发个帖子,大家讨论学习一下。 因为之前是没有使用分页处理,数据量太大,造成php分配的内存不够用,后来用的方案一做了优化。
mysql 百万级
数据
库
优化
方案
一、百万级
数据
库
优化
方案
1.对
查询
进行
优化
,要尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:
select
id from t where num is null最好不要给
数据
库留NULL,尽可能的使用 NOT NULL填充
数据
库.备注、描述、评论...
百万级
数据
库
优化
方案
--Oracle 性能
优化
总结
1.对
查询
优化
,尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。复制最好不要给
数据
库留NULL,尽可能的使用 NOT NULL填充
数据
库.备注、描述、评论之类的可以设置为 NULL,其他的,最好不要使用NULL。不要以为 NULL 不需要空间,比如:char(100) 型,在字段建立时,空间就固定了, 不管是否插入值(NULL也包含在内),都是占用 100个字符的空间的,如果是varchar这样的变长字段, null 不占用空间。复制复制。
数据
库SQL
优化
大总结之 百万级
数据
库
优化
方案
网上关于SQL
优化
的教程很多,但是比较杂乱。近日有空整理了一下,写出来跟大家分享一下,其中有错误和不足的地方,还请大家纠正补充。 这篇文章我花费了
大量
的时间查找资料、修改、排版,希望大家阅读之后,感觉好的话推荐给更多的人,让更多的人看到、纠正以及补充。 一、百万级
数据
库
优化
方案
1.对
查询
进行
优化
,要尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列
数据
库
优化
之百万级
数据
方案
做管理系统的,无论是bs结构的还是cs结构的,都不可避免的涉及到
数据
库表结构的设计,sql语句的编写等。因此在开发系统的时候,表结构设计是否合理,sql语句是否标准,写出的sql性能是否
优化
往往会成为公司衡量程序员技术水平的标准。 我们程序员不是dba,不需要时刻关注sql运行时间,想方设法
优化
表结构,存储空间,
优化
表读取速度等等,但是在开发系统时,时刻保持优良的写sql语句的作风是很有必要
SpringBoot实现Mysql百万级
数据
量导出并避免OOM的解决
方案
SpringBoot实现Mysql百万级
数据
量导出并避免OOM的解决
方案
文章目录SpringBoot实现Mysql百万级
数据
量导出并避免OOM的解决
方案
前言JPA实现百万级
数据
导出MyBatis实现百万级
数据
导出MyBatis实现百万级
数据
导出的具体实例 前言 动态
数据
导出是一般项目都会涉及到的功能。它的基本实现逻辑就是从mysql
查询
数据
,加载到内存,然后从内存创建excel或者csv,以流的形式响应给前端。 参考 https://grokonez.com/spring-framework/spring
Framework
4,250
社区成员
4,522
社区内容
发帖
与我相关
我的任务
Framework
国内外优秀PHP框架讨论学习
复制链接
扫一扫
分享
社区描述
国内外优秀PHP框架讨论学习
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章