CSDN论坛 > Java > Java EE

将十几万条数据插入数据库中,怎么才能高效实现? [问题点数:50分,结帖人PLATINUM_II]

Bbs1
本版专家分:0
结帖率 100%
CSDN今日推荐
Bbs3
本版专家分:567
Bbs1
本版专家分:0
Bbs4
本版专家分:1142
Bbs1
本版专家分:0
Bbs5
本版专家分:4563
Bbs4
本版专家分:1142
Bbs4
本版专家分:1142
Bbs4
本版专家分:1142
Bbs1
本版专家分:0
Bbs1
本版专家分:0
Bbs1
本版专家分:0
Bbs1
本版专家分:0
Bbs1
本版专家分:0
Bbs1
本版专家分:74
版主
Blank
银牌 2018年7月 总版技术专家分月排行榜第二
Blank
红花 2018年7月 MS-SQL Server大版内专家分月排行榜第一
2018年6月 MS-SQL Server大版内专家分月排行榜第一
2018年3月 MS-SQL Server大版内专家分月排行榜第一
2018年2月 MS-SQL Server大版内专家分月排行榜第一
Blank
黄花 2018年5月 MS-SQL Server大版内专家分月排行榜第二
2018年4月 MS-SQL Server大版内专家分月排行榜第二
2018年1月 MS-SQL Server大版内专家分月排行榜第二
2017年12月 MS-SQL Server大版内专家分月排行榜第二
2017年11月 MS-SQL Server大版内专家分月排行榜第二
2017年10月 MS-SQL Server大版内专家分月排行榜第二
Blank
蓝花 2017年8月 MS-SQL Server大版内专家分月排行榜第三
Bbs1
本版专家分:0
Bbs1
本版专家分:0
Bbs1
本版专家分:0
Bbs1
本版专家分:0
Bbs1
本版专家分:0
Bbs1
本版专家分:0
Bbs1
本版专家分:0
Bbs1
本版专家分:0
匿名用户不能发表回复!
其他相关推荐
如何瞬间在数据库插入一百万条记录
这两天发现了一个东西很好玩:如何在你的数据库中插入一百万条记录(要求三分钟之内)hoo~~hoo~~~1 首先 create table news     (          newsid int primary key auto_increment,        newstitle varchar(100),        newscontent varchar(200),        n
mysql 一次插入几万条数据应该怎么做优化
对于一些数据量较大的系统,数据库面临的问题除了查询效率低下,还有就是数据入库时间长。特别像报表系统,每天花费在数据导入上的时间可能会长达几个小时或十几个小时之久。因此,优化数据库插入性能是很有意义的。经过对MySQL InnoDB的一些性能测试,发现一些可以提高insert效率的方法,供大家参考参考。 1、insert批量执行,禁止单条insert value(注意单条sql长度限制,可临时...
如何将几十万的数据高效的导出到excel中
思路: 一、同步导出1、分页查询数据 2、将数据通过poi SXSSFWorkbook类写入excel,并可持久化到磁盘,防止内存溢出3、多线程 TODO4、导出时,通知用户,导出到哪一行了 TODO      a、可通过websocket通知      b、算法: (当前值/总大小值) *(100/100)      c、下载文件设置显示进度:https://blog.csdn.net/myna...
插入200万条数据(外部表加载的方式)
1 数据源    200w2 利用外部表的数据加载,导入数据    1) 用另外一个dba用户创建目录,并授权该目录给当前用户(如果用本用户创建,后面会报ORA-29400: 数据插件错误打开文件 d:\XX.log 时出错)           2)创建外部表        CREATE TABLE "EXTERNAL_TABLE_TEST" ( ID VARCHAR(40), NAME V...
MYSQL在15分钟插入千万条数据
用于数据库插入测试数据,单台测试使用 利用存储过程进行数据插入,数据库未做优化,存储过程可以再优化,将测试条数为一次插入1500条性能最优 一、测试表结构如下: CREATE TABLE `name_info` (   `name` varchar(200) NOT NULL,   `sex` int(4) NOT NULL DEFAULT '0',   PRIMARY KEY (`s
【批量生成10万条sql数据库数据+IO流的使用】生成简单sql插入语句大量数据,以及输出流生成文件2017年
第一步,建立一个java类,并且运行,在windows环境下 package com.test; import java.io.File; import java.io.FileOutputStream; import java.io.OutputStream; public class GenerateSQLFile { public static void main(String[]
高效批量插入大量数据----JDBC-4
平安夜,只要像我这样的单身狗还在键盘前码字,其他人都去浪的浪啪啪啪的啪啪啪唉~苦逼 不说了,开始我的正题。今天要说的是如何高效插入大量数据,会对三种方法进行速度比较。 代码如下: 注意:为获得较为直观的感受,一下所有操作都是针对oracle数据库进行操作! 示例一:使用Statement进行插入(速度最慢的一种) /** * 向 Oracle 的 c
快速插入2000万数据
前提设置表主键为自动递增 #默认主键为1 :alter table user modify id integer default '1'; #默认主键:alter table user modify id integer auto_increment ; #时间主键:alter table user add createtime timestamp default curre
100万条数据导入SQL数据库仅用4秒
100万条数据导入SQL数据库仅用4秒,100万条数据导入SQL数据库仅用4秒
MySql 快速插入千万级大数据
在数据分析领域,数据库是我们的好帮手。不仅可以接受我们的查询时间,还可以在这基础上做进一步分析。所以,我们必然要在数据库插入数据。在实际应用中,我们经常遇到千万级,甚至更大的数据量。如果没有一个快速的插入方法,则会事倍功半,花费大量的时间。 在参加阿里的天池大数据算法竞赛中(流行音乐趋势预测),我遇到了这样的问题,在没有优化数据库查询及插入之前,我花了不少冤枉时间,没有优化之前,1500万条数据
关闭