将十几万条数据插入数据库中,怎么才能高效实现？-CSDN论坛

⋅将十几万条数据插入数据库中,怎么才能高效实现？ ⋅springboot中如何通过配置文件或者过滤器等方式来解决编码问题？ ⋅JSON如何根据value进行去重 更多帖子 关注空间博客 PLATINUM_II 本版专家分：0 结帖率 100%: 回复次数22

发表于 2018-08-06 10:14:07 楼主

有不到十二万条数据(以后可能还会有更多)，需要将这些数据导入到另一张表中，另一张表中可能会存在，也可能不存在。如果存在则更新，不存在则添加，我用mybatis，将第一张表查询到的数据添加到list中，遍历-判断-添加或者同步更新到第二张表。前面几万条数据还好，越往后越慢，尤其是最后一万条，简直一秒动一下。然后用批量操作(mybatis batch)的方式，也是很慢，1000条数据我等了好几分钟都没完成。请各位支招，怎么才能快速将两张表数据同步起来。

问题点数：50分

0 0

引用・举报・管理
编辑删除

CSDN今日推荐

⋅dubbo有没有开放api，想在调用服务提供者时进行“分片” ⋅想用ZooKeeper做注册发现，临时节点如何保持会话/连接以不被删除？ ⋅java6与java8对volatile关键字的处理不一样吗？ 更多帖子 关注空间博客 咖飞哥 本版专家分：567: 回复于 2018-08-06 10:40:43 #1 得分：10

使用多线程，如果是oracle有merge方法；另外就是每个线程别每次提交一条，而是批量提交，有效减少数据库的日志和回滚。
另外oralce还有直接插入，几十万几乎秒级别。

0 0

引用・举报・管理
编辑删除

⋅将十几万条数据插入数据库中,怎么才能高效实现？ ⋅springboot中如何通过配置文件或者过滤器等方式来解决编码问题？ ⋅JSON如何根据value进行去重 更多帖子 关注空间博客 PLATINUM_II 本版专家分：0: 回复于 2018-08-06 13:39:40 #2 得分：0

使用的是mysql，批量提交我感觉速度也不是很快。我分为1000条提交一次。

0 0

引用・举报・管理
编辑删除

⋅想请问下，一个HTTP请求占用多少内存 ⋅听说某人要砖 ⋅mysql中文全文检索无效问题，在线等！！ 更多帖子 关注空间博客 ITjavaman 本版专家分：1142

回复于 2018-08-06 16:26:59 #3 得分：0

我这边测试了一下，我测试表字段就4个，主键自增，

CREATE TABLE `testuser` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `mobilePhone` varchar(20) NOT NULL,
  `name` varchar(20) DEFAULT NULL,
  `password` varchar(200) DEFAULT NULL,
  PRIMARY KEY (`id`),
  UNIQUE KEY `testuser_mobilePhone` (`mobilePhone`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=2000001 DEFAULT CHARSET=utf8;

使用replace into 语句



	<insert id="test"  >

		replace into testuser

		(mobilePhone,name,password) values

		  <foreach collection="bookids" item="item" index="index" separator="," >

              (#{item},#{item},rand()*10000)

  		 </foreach>

循环插入1000次，一次1000条，
在空表的情况下大概花了48s,
全部存在，也就是全部更新的情况下，花了大概130s

0 0

引用・举报・管理
编辑删除

⋅将十几万条数据插入数据库中,怎么才能高效实现？ ⋅springboot中如何通过配置文件或者过滤器等方式来解决编码问题？ ⋅JSON如何根据value进行去重 更多帖子 关注空间博客 PLATINUM_II 本版专家分：0

回复于 2018-08-06 16:51:47 #4 得分：0

引用 3 楼 ITjavaman 的回复:

我这边测试了一下，我测试表字段就4个，主键自增，

CREATE TABLE `testuser` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `mobilePhone` varchar(20) NOT NULL,
  `name` varchar(20) DEFAULT NULL,
  `password` varchar(200) DEFAULT NULL,
  PRIMARY KEY (`id`),
  UNIQUE KEY `testuser_mobilePhone` (`mobilePhone`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=2000001 DEFAULT CHARSET=utf8;

使用replace into 语句
	<insert id="test"  >

		replace into testuser

		(mobilePhone,name,password) values

		  <foreach collection="bookids" item="item" index="index" separator="," >

              (#{item},#{item},rand()*10000)

  		 </foreach>
循环插入1000次，一次1000条，
在空表的情况下大概花了48s,
全部存在，也就是全部更新的情况下，花了大概130s

一百万的数据全部更新只要130秒？你的速度为什么这么快，我能看一下你的测试代码吗？这个replace into 我还没用过。

0 0

引用・举报・管理
编辑删除

⋅最近论坛结帖率很低啊，是不是人越来越少了？ ⋅使用 -O9 编译内核 ⋅想写一个将双声道的 wav 转成单声道的 wav，生成的却是噪音，不知哪里错了。 更多帖子 关注空间博客 幽饮烛 本版专家分：4563: 回复于 2018-08-06 17:04:50 #5 得分：10

replace into 的原理是先删除后插入，可以改成 update 加 insert 试试。
试试用原始的 JDBC 写法，不用 mybatis 。

1 0

引用・举报・管理
编辑删除

⋅想请问下，一个HTTP请求占用多少内存 ⋅听说某人要砖 ⋅mysql中文全文检索无效问题，在线等！！ 更多帖子 关注空间博客 ITjavaman 本版专家分：1142

回复于 2018-08-07 11:26:00 #7 得分：0

引用 4 楼 PLATINUM_II 的回复:

Quote: 引用 3 楼 ITjavaman 的回复:
我这边测试了一下，我测试表字段就4个，主键自增，

CREATE TABLE `testuser` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `mobilePhone` varchar(20) NOT NULL,
  `name` varchar(20) DEFAULT NULL,
  `password` varchar(200) DEFAULT NULL,
  PRIMARY KEY (`id`),
  UNIQUE KEY `testuser_mobilePhone` (`mobilePhone`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=2000001 DEFAULT CHARSET=utf8;

使用replace into 语句
	<insert id="test"  >

		replace into testuser

		(mobilePhone,name,password) values

		  <foreach collection="bookids" item="item" index="index" separator="," >

              (#{item},#{item},rand()*10000)

  		 </foreach>
循环插入1000次，一次1000条，
在空表的情况下大概花了48s,
全部存在，也就是全部更新的情况下，花了大概130s
一百万的数据全部更新只要130秒？你的速度为什么这么快，我能看一下你的测试代码吗？这个replace into 我还没用过。



dao层



public int test(@Param("bookids")int [] bookids);



执行代码



int [] bookids = null;

			for(int i=0;i<1000;i++) {

				bookids = new int [1000];

				for(int j=0;j<1000;j++) {

					bookids[j]=i*1000+j;

				}

				dao.test(bookids);

			}

大概这样子，昨天测完就删了，上面是伪代码

0 0

引用・举报・管理
编辑删除

⋅想请问下，一个HTTP请求占用多少内存 ⋅听说某人要砖 ⋅mysql中文全文检索无效问题，在线等！！ 更多帖子 关注空间博客 ITjavaman 本版专家分：1142: 回复于 2018-08-07 11:29:27 #8 得分：0

replace into 原理是关于主键有则更新无则插入，
在主键已经存在的时候，是先删除这一行再插入，操作记录是两次

0 0

引用・举报・管理
编辑删除

⋅想请问下，一个HTTP请求占用多少内存 ⋅听说某人要砖 ⋅mysql中文全文检索无效问题，在线等！！ 更多帖子 关注空间博客 ITjavaman 本版专家分：1142: 回复于 2018-08-07 13:37:12 #9 得分：30

如果更新的表索引较多导致效率低，还可以使用insert ON DUPLICATE KEY UPDATE语句
用上面的方式测试了一下，确实更快

0 0

引用・举报・管理
编辑删除

⋅将十几万条数据插入数据库中,怎么才能高效实现？ ⋅springboot中如何通过配置文件或者过滤器等方式来解决编码问题？ ⋅JSON如何根据value进行去重 更多帖子 关注空间博客 PLATINUM_II 本版专家分：0: 回复于 2018-08-07 13:48:13 #10 得分：0

谢谢ITjavaman，辛苦了。

0 0

引用・举报・管理
编辑删除

⋅此用户还没有发表过任何帖子 关注空间博客 sinat_36521809 本版专家分：0: 回复于 2018-08-07 15:46:04 #11 得分：0

S2是多余行政村在此之前

0 0

引用・举报・管理
编辑删除

⋅我要去当兵了。 更多帖子 关注空间博客 c631289494 本版专家分：0: 回复于 2018-08-07 17:12:55 #12 得分：0

666666666666

0 0

引用・举报・管理
编辑删除

⋅C币难赚 更多帖子 关注空间博客 XYSYGF 本版专家分：0: 回复于 2018-08-07 18:53:24 #13 得分：0

有点看不太懂。

0 0

引用・举报・管理
编辑删除

⋅此用户还没有发表过任何帖子 关注空间博客 h13438045549 本版专家分：0: 回复于 2018-08-07 22:31:38 #15 得分：0

使用的是mysql，批量提交我感觉速度也不是很快。我分为1000条提交一次。

0 0

引用・举报・管理
编辑删除

⋅建议：回贴之后 15 分钟之内，贴子应该允许编辑 ⋅【分享贴】.net core 网站如何附加到进程？ ⋅【分享贴】如何增大论坛底部的输入框 ( 仅适用Chrome ) 更多帖子 关注空间博客 吉普赛的歌 本版专家分：74 版主 银牌 2018年7月总版技术专家分月排行榜第二 红花 2018年7月 MS-SQL Server大版内专家分月排行榜第一 2018年6月 MS-SQL Server大版内专家分月排行榜第一 2018年3月 MS-SQL Server大版内专家分月排行榜第一 2018年2月 MS-SQL Server大版内专家分月排行榜第一 黄花 2018年5月 MS-SQL Server大版内专家分月排行榜第二 2018年4月 MS-SQL Server大版内专家分月排行榜第二 2018年1月 MS-SQL Server大版内专家分月排行榜第二 2017年12月 MS-SQL Server大版内专家分月排行榜第二 2017年11月 MS-SQL Server大版内专家分月排行榜第二 2017年10月 MS-SQL Server大版内专家分月排行榜第二 蓝花 2017年8月 MS-SQL Server大版内专家分月排行榜第三: 回复于 2018-08-08 07:54:26 #16 得分：0

生成一个文本文件使用MySQL的JDBC LOAD DATA LOCAL INFILE。没有更快的了
https://www.jb51.net/article/33365.htm

0 0

引用・举报・管理
编辑删除

⋅此用户还没有发表过任何帖子 关注空间博客 qq_42910498 本版专家分：0: 回复于 2018-08-08 09:20:39 #18 得分：0

mysql以前用过还不错

0 0

引用・举报・管理
编辑删除

⋅谁有简单点的android程序案例 更多帖子 关注空间博客 kfm1376822651 本版专家分：0: 回复于 2018-08-08 09:51:38 #19 得分：0

我用Oracle插入上百万数据也只要几十秒啊

0 0

引用・举报・管理
编辑删除

⋅谁有简单点的android程序案例 更多帖子 关注空间博客 kfm1376822651 本版专家分：0: 回复于 2018-08-08 09:52:23 #20 得分：0

从MySQL导入到Oracle，CSV导入特别慢，就把表数据导出成sql，二百多万条sql用Java读取特别慢，就用文件分割，分成二十多个文件，每个文件里有一万条sql，然后用mybatis插入，用线程池去处理，每个线程处理一个文件，二百多万条数据几十秒

0 0

引用・举报・管理
编辑删除

⋅STL中 std::stack::pop成员函数 ⋅C++析构函数顺序问题 ⋅cin.ignore()函数在VS和g++中的不同，这样实现各有什么优缺点吗？ 更多帖子 关注空间博客 a3192048 本版专家分：0: 回复于 2018-08-08 11:14:45 #21 得分：0

建议使用多线程

0 0

引用・举报・管理
编辑删除

⋅用git上传吗云问题 ⋅双向一对多 ⋅外键多对一多对多 更多帖子 关注空间博客 hr4370913 本版专家分：0: 回复于 2018-08-08 13:55:11 #22 得分：0

mysql可以de

0 0

引用・举报・管理
编辑删除

⋅vs 开发的ocx控件在excel里点设计模式切换时绘制出错！！ ⋅excel 插件实现打开对话框 ⋅标准打开对话框重载 更多帖子 关注空间博客 yzhfirst1 本版专家分：0: 回复于 2018-08-08 14:11:36 #23 得分：0

问题是不是由于到后边你新插入的数据太多了导致的，改成先遍历一遍list把已存在的数据先更新，同时从list中删除，剩下的直接插入的数据库中

0 0

引用・举报・管理
编辑删除

⋅将十几万条数据插入数据库中,怎么才能高效实现？ ⋅springboot中如何通过配置文件或者过滤器等方式来解决编码问题？ ⋅JSON如何根据value进行去重 更多帖子 关注空间博客 PLATINUM_II 本版专家分：0: 回复于 2018-08-09 17:29:33 #24 得分：0

现在数据都导进去了，但是要更新一遍的话就会很慢。

0 0

引用・举报・管理
编辑删除

⋅此用户还没有发表过任何帖子 关注空间博客 qq_28057679 本版专家分：0: 回复于 2018-08-12 00:50:34 #25 得分：0

如果非要总JAVA程序，不要用mybatis的批量操作了。如果你用spring可以用SpringJdbcTemplate。自己用stringbuffer跟for组装批量insert的sql，200个数据一条长sql。。比mybatis的批量操作快多了，毕竟mybatis也要做反射，循环等等工作生成原始sql。

0 0

引用・举报・管理
编辑删除

其他相关推荐

如何瞬间在数据库插入一百万条记录: 这两天发现了一个东西很好玩：如何在你的数据库中插入一百万条记录（要求三分钟之内）hoo~~hoo~~~1 首先 create table news ( newsid int primary key auto_increment, newstitle varchar(100), newscontent varchar(200), n

mysql 一次插入几万条数据应该怎么做优化: 对于一些数据量较大的系统，数据库面临的问题除了查询效率低下，还有就是数据入库时间长。特别像报表系统，每天花费在数据导入上的时间可能会长达几个小时或十几个小时之久。因此，优化数据库插入性能是很有意义的。经过对MySQL InnoDB的一些性能测试，发现一些可以提高insert效率的方法，供大家参考参考。 1、insert批量执行，禁止单条insert value（注意单条sql长度限制，可临时...

如何将几十万的数据高效的导出到excel中: 思路：一、同步导出1、分页查询数据 2、将数据通过poi SXSSFWorkbook类写入excel，并可持久化到磁盘，防止内存溢出3、多线程 TODO4、导出时，通知用户，导出到哪一行了 TODO a、可通过websocket通知 b、算法: (当前值/总大小值) *(100/100) c、下载文件设置显示进度：https://blog.csdn.net/myna...

插入200万条数据（外部表加载的方式）: 1 数据源 200w2 利用外部表的数据加载，导入数据 1) 用另外一个dba用户创建目录，并授权该目录给当前用户（如果用本用户创建，后面会报ORA-29400: 数据插件错误打开文件 d:\XX.log 时出错) 2)创建外部表 CREATE TABLE "EXTERNAL_TABLE_TEST" ( ID VARCHAR(40), NAME V...

MYSQL在15分钟插入千万条数据: 用于数据库插入测试数据，单台测试使用利用存储过程进行数据插入，数据库未做优化，存储过程可以再优化，将测试条数为一次插入1500条性能最优一、测试表结构如下： CREATE TABLE `name_info` ( `name` varchar(200) NOT NULL, `sex` int(4) NOT NULL DEFAULT '0', PRIMARY KEY (`s

【批量生成10万条sql数据库数据+IO流的使用】生成简单sql插入语句大量数据，以及输出流生成文件2017年: 第一步，建立一个java类，并且运行，在windows环境下 package com.test; import java.io.File; import java.io.FileOutputStream; import java.io.OutputStream; public class GenerateSQLFile { public static void main(String[]

高效批量插入大量数据----JDBC-4: 平安夜，只要像我这样的单身狗还在键盘前码字，其他人都去浪的浪啪啪啪的啪啪啪唉~苦逼不说了，开始我的正题。今天要说的是如何高效插入大量数据，会对三种方法进行速度比较。代码如下：注意：为获得较为直观的感受，一下所有操作都是针对oracle数据库进行操作! 示例一：使用Statement进行插入（速度最慢的一种） /** * 向 Oracle 的 c

快速插入2000万数据: 前提设置表主键为自动递增 #默认主键为1 ：alter table user modify id integer default '1'; #默认主键：alter table user modify id integer auto_increment ; #时间主键：alter table user add createtime timestamp default curre

100万条数据导入SQL数据库仅用4秒: 100万条数据导入SQL数据库仅用4秒，100万条数据导入SQL数据库仅用4秒

MySql 快速插入千万级大数据: 在数据分析领域，数据库是我们的好帮手。不仅可以接受我们的查询时间，还可以在这基础上做进一步分析。所以，我们必然要在数据库插入数据。在实际应用中，我们经常遇到千万级，甚至更大的数据量。如果没有一个快速的插入方法，则会事倍功半，花费大量的时间。在参加阿里的天池大数据算法竞赛中（流行音乐趋势预测），我遇到了这样的问题，在没有优化数据库查询及插入之前，我花了不少冤枉时间，没有优化之前，1500万条数据

将十几万条数据插入数据库中,怎么才能高效实现？ [问题点数：50分，结帖人PLATINUM_II]