（急）一直插入数据每次到一定时间或者数据达到几万条就不执行操作

Spring旋律 2017-11-11 10:02:35

前面一小时或者前几万条数据可以执行，但会突然不再执行sql语句；也不报错，日记也没有报错。。就是全部客户端发送的数据不处理了。服务端像是睡眠了一样？控制层也不再执行sql语句；但能执行其他功能

...全文

173 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

Spring旋律 2017-11-11

打赏
举报

回复

再顶三四十是

Spring旋律 2017-11-11

打赏
举报

回复

顶啊啊啊啊啊

Spring旋律 2017-11-11

打赏
举报

回复

求助，不要沉

使用了 MyBatis 的批处理操作，将每 1000 条数据放在一个批次中插入，能够较为有效地提高插入速度。同时请注意在循环插入时要带有合适的等待时间和批处理大小，以防止出现内存占用过高等问题。限制来提高可以传输的内容，不过由于30万条数据超出太多，这个不可取，梭哈看来是不行了 😅😅😅。总共执行了14909367毫秒，换算出来是4小时八分钟。超出最大数据包限制了，可以通过调整。执行后可以发现磁盘IO占比飙升，一直处于高位。springboot项目直接一次性。和数据库的参数，以获得更好的性能。

Java怎么实现几十万条数据插入(30万条数据插入仅需13秒)

优化方法描述优点缺点批量插入一次性插入多条记录减少数据库交互次数，提高插入速度需要一次性构建大量数据，可能占用内存关闭索引插入前关闭索引，插入后重新开启避免每次插入都更新索引，提高插入速度插入后重新启用索引可能需要时间使用事务处理将多个插入操作放入一个事务中减少每次插入的事务开销，提高整体插入效率如果事务过大，可能会占用大量内存和锁资源优化SQL语句简化SQL语句，避免不必要的复杂操作提高执行效率需要确保SQL语句优化到位调整数据库配置。

对于一些数据量较大的系统，数据库面临的问题除了查询效率低下，还有就是数据入库时间长。特别像报表系统，每天花费在数据导入上的时间可能会长达几个小时或十几个小时之久。因此，优化数据库插入性能是很有意义的。经过对MySQL InnoDB的一些性能测试，发现一些可以提高insert效率的方法，供大家参考参考。 1、insert批量执行，禁止单条insert value（注意单条sql长度限制，可临时...

使用了 MyBatis 的批处理操作，将每 1000 条数据放在一个批次中插入，能够较为有效地提高插入速度。如果批处理大小太小，插入操作的频率将很高，而如果批处理大小太大，可能会导致内存占用过高。采用适当的等待时间：等待时间指在批处理操作之间等待的时间量。可以考虑使用一些内存优化的技巧，例如使用内存数据库或使用游标方式插入数据，以减少内存占用。System.out.println(“===== 开始插入数据 =====”);System.out.println(“===== 开始插入数据 =====”);

67,543

社区成员

225,859

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章