社区
MySQL
帖子详情
MySQL中插入大量数据的问题
ningandjin
2009-02-10 02:39:02
各位高手,我写了一段程序,生成一个字符串,然后插入到数据库中,这个程序有时会执行上千万次,但是每次执行到10多万次的时候就报了一个outOfStackException,请问一下大家都怎么处理MySQL中插入大量数据的问题?
...全文
725
6
打赏
收藏
MySQL中插入大量数据的问题
各位高手,我写了一段程序,生成一个字符串,然后插入到数据库中,这个程序有时会执行上千万次,但是每次执行到10多万次的时候就报了一个outOfStackException,请问一下大家都怎么处理MySQL中插入大量数据的问题?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
6 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
小赛赛top
2010-02-06
打赏
举报
回复
循环内建立连接是不行地
jnt52
2009-02-14
打赏
举报
回复
可以使用导文件方法解决大数据量插入问题.
MYSQL中从文本文件导入数据到数据库中
1)注意文件格式要和字段名顺序一致每个值以TAB分割。
mysql -uroot -proot test_databaseName -e "LOAD DATA LOCAL INFILE 'input_datafile.txt' into table test_tableName(userName,data_num)";
ningandjin
2009-02-12
打赏
举报
回复
简单说一下我在做的事吧
for(long i=0;i++,i<1000000){
insertIntoDB(i);
}
在insertIntoDB方法中,我建立了一个到MySQL连接,调用了一条插入语句直接使用的insert into table values().然后就报outOfStackException了。我以前觉得可能是数据库的缓冲区不够了,就说每做10000次就commit一下,但是还是不行。
for(long i=0;i++,i<1000000){
insertIntoDB(i);
if(i%10000==0){
commitDB();
}
}
pangpangxu
2009-02-12
打赏
举报
回复
不知道你的sql语句怎么写,或这插入数据设计到的索引更行情况
还有一个更新方式,是有关insert语句的写法:
inert into table_name values(...),(...),(...)
这样写可以减少索引更新的IO
当然这样是揣测索引更新I0频繁引起
ningandjin
2009-02-12
打赏
举报
回复
可是我的数据是一边生成一边插入的。在一个循环里面搞定的。也有试过当循环到10000的倍数的时候就执行一次commit,不过好像没有用。
pangpangxu
2009-02-10
打赏
举报
回复
可以考虑在应用程序中分批次执行插入,同时批次处理间可以考虑设置sleep
mysql
快速
插入
大量
数据
最近做性能测试,需要模拟生产环境的
数据
量,在
插入
mysql
百万、千万级
数据
的时候发现直接使用
插入
sql效率极低,百度了一翻,找到几种方式,但用下来还是有很快速的方式,推荐第四种。
mysql
批量
插入
大量
数据
mysql
批量
插入
大量
数据
时间:2020年11月25日 今天遇到了一个批量
插入
大量
数据
任务,然后出于小白本能,直接for-each循环
插入
不就好了,于是手上开始噼里啪啦一顿操作,写好了从读取excel到
插入
数据
库的工作,于是就...
MySQL
批量
插入
大量
数据
方法
在
MySQL
数据
库
中
,如果要
插入
上百万级的记录,用普通的insert into来操作非常不现实,速度慢人力成本高,推荐使用Load Data或存储过程来导入
数据
,我总结了一些方法分享如下,主要基于MyISAM和InnoDB引擎。...
如何向
mysql
中
插入
大量
数据
有时为了做性能测试,需要向
mysql
中
插入
大量的测试用
数据
,以下介绍
c#
mysql
插入
大量
数据
_c#批量
插入
上万条
数据
到
mysql
中
的方法
本节主要内容:批量
插入
上万条
数据
到
mysql
的方法本文使用了
mysql
的批量
数据
格式,例如:INSERT INTO TABLES (LABLE1,LABLE2,LABLE3,...)VALUES(NUM11,NUM12,NUM13,...),(NUM21,NUM22,NUM23,...),....(NUMn1,NUMn2,...
MySQL
56,687
社区成员
56,710
社区内容
发帖
与我相关
我的任务
MySQL
MySQL相关内容讨论专区
复制链接
扫一扫
分享
社区描述
MySQL相关内容讨论专区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章