【求优化】MySQL批量插入5W条左右数据

减肥啊啊啊啊啊 减肥啊啊啊啊啊 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区


     Connection conn = null;
PreparedStatement ps = null;
try {
conn = DBUtils.getConnection();
conn.setAutoCommit(false);

long s = System.currentTimeMillis();

StringBuffer sb = new StringBuffer();
sb.append(" INSERT INTO TEST1 ");
sb.append(" ( ");
sb.append(" A , B , C , ");
sb.append(" D , E , F , ");
sb.append(" G , H , I ");
sb.append(" J , K , K ");
sb.append(" M , N , O ");
sb.append(" P , Q , R ");
sb.append(" S , T , U ");
sb.append(" V , W , X ");
sb.append(" Y , Z ");
sb.append(" ) ");
sb.append(" VALUES");
sb.append(" (?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,? (SELECT NAME FROM TEST2 WHERE ID =? ) ");

ps = conn.prepareStatement(sb.toString(),ResultSet.TYPE_SCROLL_SENSITIVE,ResultSet.CONCUR_READ_ONLY);
int count = 0 ;

for (int i=0,n=50000;i<n;i++) {

ps.setString(1, "value1");
ps.setString(2, "value2");
ps.setString(3, "value3");
ps.setString(4, "value4");
ps.setString(5, "value5");
ps.setString(6, "value6");
ps.setString(7, "value7");
ps.setString(8, "value8");
ps.setString(9, "value9");
ps.setString(10, "value10");
ps.setString(11, "value11");
ps.setString(12, "value12");
ps.setString(13, "value13");
ps.setString(14, "value14");
ps.setString(15, "value15");
ps.setString(16, "value16");
ps.setString(17, "value17");
ps.setString(18, "value18");
ps.setString(19, "value19");
ps.setString(20, "value20");
ps.setString(21, "value21");
ps.setString(22, "value22");
ps.setString(23, "value23");
ps.setString(24, "value24");
ps.setString(25, "value25");

ps.setInt(26, i);

ps.addBatch();
count ++ ;
if(count % 10000 == 0){
//1W条一提交
ps.executeBatch();
conn.commit();
count = 0;
}

}

ps.executeBatch();
conn.commit();
ps.clearBatch();

long e = System.currentTimeMillis();
System.out.println("共用时:" + (e - s)/1000.00000000 + "秒");

} catch (Exception e) {
try {
conn.rollback();
} catch (SQLException e1) {
e1.printStackTrace();
}
e.printStackTrace();
} finally {
if (ps != null) {
try {
ps.close();
} catch (SQLException e) {
e.printStackTrace();
}
}
if (conn != null) {
try {
conn.close();
} catch (SQLException e) {
e.printStackTrace();
}
}
}



Mysql数据库连接的URL 附加了
rewriteBatchedStatements=true

jar包是5.1.17的jar

引擎是InnoDB的
具体的测试时间 每多少条记录一提交
只有插入(就是只有insert into table values(?,?,?))
5W条数据计时 :13.591秒 5W条数据计时 :13591ms ---100提交
5W条数据计时 :8.681秒 5W条数据计时 :8681ms ---200一提交
5W条数据计时 :6.617秒 5W条数据计时 :6617ms ----500一提交
5W条数据计时 :5.173秒 5W条数据计时 :5173ms ----1000一提交
5W条数据计时 :4.766秒 5W条数据计时 :4766ms ----2000一提交
5W条数据计时 :5.242秒 5W条数据计时 :5242ms ----2222一提交
5W条数据计时 :4.938秒 5W条数据计时 :4938ms ----2500一提交
5W条数据计时 :5.017秒 5W条数据计时 :5017ms ----3000一提交
5W条数据计时 :5.208秒 5W条数据计时 :5208ms ----5000一提交
5W条数据计时 :5.027秒 5W条数据计时 :5027ms ----10000一提交
5W条数据计时 :5.771秒 5W条数据计时 :5771ms ----20000一提交

插入加查询(在插入的时候带入查询后的值在插入)
5W条数据计时 :20.955秒 5W条数据计时 :20955ms -100一提交
5W条数据计时 :13.436秒 5W条数据计时 :13436ms -500一提交
5W条数据计时 :12.999秒 5W条数据计时 :12999ms -1000一提交
5W条数据计时 :17.855秒 5W条数据计时 :17855ms -2000一提交
5W条数据计时 :11.952秒 5W条数据计时 :11952ms -3000一提交
5W条数据计时 :11.818秒 5W条数据计时 :11818ms -5000一提交
5W条数据计时 :10.498秒 5W条数据计时 :10498ms -10000一提交
5W条数据计时 :9.668秒 5W条数据计时 :9668ms -20000一提交
5W条数据计时 :15.843秒 5W条数据计时 :15843ms -30000一提交



能不能5万条数据库在插入的时间减少些、或者能使最优?
需要其他参数和环境请告知、
先谢谢各位了、
...全文

相关推荐

mysql大批量数据插入

需求:需要频繁的插入数据到MySQL数据库中,设计目标要求能支持平均每秒插入1000条数据以上 方法:mysql批量数据插入方法及性能参考

LFJ_99058

mysql百万级测试数据下载 300W条

资源是.sql文件压缩后上传(文件太大,解压后470多M)。用navicat导入实测用时5分钟,数据量300W条。快速获取百万级真实测试数据。

nydxsy

MYSQL开发性能研究之批量插入数据的优化方法

一、我们遇到了什么问题 在标准SQL里面,我们通常会写下如下的SQL insert语句。 INSERT INTO TBL_TEST (id) VALUES(1); 很显然,在MYSQL中,这样的方式也是可行的。但是当我们需要批量插入数据的时候,这样的语句却会出现性能问题。例如说,如果有需要插入100000条数据,那么就需要有100000条insert语句,每一句都需要提交到关系引擎那里去解析,优化,然后才能够到达存储引擎做真的插入工作。 正是由于性能的瓶颈问题,MYSQL官方文档也就提到了使用批量化插入的方式,也就是在一句INSERT语句里面插入多个值。即, INSERT INTO TBL

weixin_38607784

Java使用JDBC向MySQL数据库批次插入10W条数据(测试效率)

使用JDBC连接MySQL数据库进行数据插入的时候,特别是大批量数据连续插入(100000),如何提高效率呢?今天小编通过本教程给大家介绍下

weixin_38522029

Mysql使用insert插入多条记录 批量新增数据

如果要向table1中插入5条记录,下面写法是错误的: INSERT INTO table1 (id,name) VALUES(1,小明,2,小强,3,小杜,4,小李,5,小白); MySQL将会抛出下面的错误 ERROR 1136: Column count doesn't match value count at row 1 而正确的写法应该是这样: INSERT INTO t able1(i,name) VALUES(1,'小明'),(2,'小强'),(3,'小杜'),(4,'小李'),(5,'小白'); 当然,这种写法也可以省略列名,这样每一对括号里的值的数目必须一致,而且这个数

weixin_38526225
评论 11
收藏 已收藏
分享
返回顶部
减肥啊啊啊啊啊
MySQL 57,062 成员 56,759 内容