Mybatis批量插入数据，三万条数据左右卡死，求教

qq_21132973 2017-10-30 03:33:17

用的是sqlSessionFactory.openSession(ExecutorType.Batch,false)获得session,每1000条数据手动提交一次。

...全文

2059 5 打赏收藏举报

写回复

5 条回复

切换为时间正序

请发表友善的回复…

发表回复

能先森 2020-01-13

打赏
举报

回复

如果是mysql数据库，一般是mysql的max_allowed_packet传送数据包的大小限定了，你传过去的3万条数据，已经超出上限 show variables like '%max_allowed_packet%' 查看你数据库的参数大小，默认是1MB,你可以重新设定，mysql8以后最大支持1024MB

Enchanter, 2017-10-31

打赏
举报

回复

批量提交的时候，需要手动去清除数据缓存，不然数据缓存会堆积，估计你的数据内容的量应该不小，又没有去清除数据缓存，所以才导致了这样的问题

安优小青和他的程序生活 2017-10-31

打赏
举报

回复

还有就是数据库端会有一些缓存的参数设置，加大参数，总之这个需要你们 DBA 协助一下。

安优小青和他的程序生活 2017-10-31

打赏
举报

回复

用的什么数据库？表结构是什么样的？有没有索引，有没有外键？数据库端查一下是否有死锁？把外键去掉，减少锁等待。。。

tianfang 2017-10-30

打赏
举报

回复

查查数据库性能

/** * @author evan * @Title: * @Description: * @date 2021-10-5 10:18 */ public class InsertData { public static void main(String[] args) { //Connection连接对象 Connection con = null; //jdbc驱动 String driver = "com.mysql

问题：导入excel 文件到oss上，在进行读取存储到数据库中，导致idea卡死，服务器cpu飙高的问题 <insert id="batchInsert" parameterType="java.util.List"> insert into menu_filter (id, menu_id, state, biz, role_id, city_i...

业务场景：需要批量插入数据库两万条数据。 1，直接mybatis 的foreach 循环，卡死，事务半天不提交。 2.最蠢的for循环插入，57秒 3.mybatis 的sqlsession级别的批处理操作，37秒 4.jdbctemplete，15秒左右有谁遇到过吗，为什么事务不提交，这个数据量应该不算大 ...

一、业务场景报表系统，获取公司各个地区的业务单子结算数据，计算分配佣金和业绩，并生成excel表格，共三个excel,两个excel中有十个sheet，一个有四个sheet，包括所有明细数据及分类汇总数据，明细数据量大概十几万。二、主要代码逻辑 1、使用mybatis分批次查询并计算数据； 2、开启多线程使用mybatis的foreach组合多条数据批量插入； 3、等待所有数据插入后...

不需要配置服务器环境，项目完成后直接生成可公开访问的链接，团队成员随时都能测试效果。对于需要快速验证想法的场景，这种开箱即用的体验实在太方便了。从我的实际体验来看，比本地搭建环境要节省至少80%的时间成本。快速搭建了一个可运行的原型。整个过程比想象中简单很多，10分钟就搞定了从零到可演示的完整流程，这里分享下具体实现思路。Thymeleaf 的模板语法很容易上手，配合平台提供的实时预览功能，调整样式特别方便。最近在开发一个需要批量插入数据的业务模块，为了快速验证逻辑是否可行，我尝试用。

67,535

社区成员

225,843

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章