如何使用Mysql一次性读取大量数据

fengda2870 2012-11-17 05:08:12

如何使用Mysql一次性读取大量数据
要一次性处理上万条数据，直接调用的话，Mysql就死了，怎么办？

...全文

543 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

fengda2870 2012-11-18

打赏
举报

回复

解决了，是我写的代码有问题，死循环，连接太多，连死了

rucypli 2012-11-17

打赏
举报

回复

什么语句处理上万条就能搞死mysql

Rotel-刘志东 2012-11-17

打赏
举报

回复

是不是实时的数据，如果不是的可以创建临时表，在临时表中处理。

本文记录使用java的jdbc从MySQL中读取大量数据不出现OOM的方法，一般的使用jdbc读取的时候，会将查询结果全部导入到内存中，如果数据量很大的时候会出现OOM异常，本文将介绍如何使用MySQL中的分页功能，设置featchSize大小防止OOM，轻松读取海量数据的方法(笔者测试读取量为3000W行数据)

JDBC从数据库获取数据的三种读取方式： 1.一次全部（默认）：一次获取全部。 2.流式：多次获取，一次一行。 3.游标：多次获取，一次多行。 mybatis没有任何配置的话是采取第一种方式当数据量比较大的时候容易引发oom 现在介绍第二种：流式获取数据代码示例 mapper 层： /** * @author zhanglf */ @Mapper public int...

使用流操作读取MySQL数据

场景常规查询流式查询 MyBatis 流式查询接口非流式查询和流式查询区别游标查询

今天小编就为大家分享一篇Python从数据库读取大量数据批量写入文件的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧使用机器学习训练数据时，如果数据量较大可能我们不能够一次性将数据加载进内存，这时我们需要将数据进行预处理，分批次加载进内存。下面是代码作用是将数据从数据库读取出来分批次写入txt文本文件，方便我们做数据的预处理和训练机器学习模型。 1 ...

56,677

社区成员

56,708

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章