批量导入数据-CSDN论坛

CSDN论坛 > Java > Java EE

批量导入数据 [问题点数：40分，结帖人leng_ao_xiong_ying]

一键查看最优答案

确认一键查看最优答案？

本功能为VIP专享，开通VIP获取答案速率将提升10倍哦！

取消

开通vip会员

⋅翻转效果 ⋅翻转效果 ⋅JAVA中如何将Object类对象赋给自定义类 更多帖子 关注私信空间博客 低调茄子 本版专家分：0 结帖率 100%: 往mysql数据库里导入45万条数据，30分导入完毕，可以做到吗？高人指点一下，具体点，我实现的太耗时。18分钟才导入4万来条。

0 2011-07-03 15:49:06

回复数 12 只看楼主引用举报楼主

⋅socket通讯可靠性 ⋅Stack around the variable was corrupted ⋅UpdateResource:为什么少了1K？？？？ 更多帖子 关注私信空间博客 wula0010 本版专家分：10525: 可以，多线程导入数据，........

0 2011-07-03 16:24:52

只看TA 引用举报 #1 得分 5

⋅windows XP + eclipse-3.7 + cdt 8.02 + MinGW-5.1.6的配置问题 ⋅把Edittext放到WindowManager中,长按Edittext不出现响应的选择框 ⋅android browser 中 webview 加载时 webview的位置问题 更多帖子 关注私信空间博客 zjt321 本版专家分：1598: 引用 1 楼 wula0010 的回复:
可以，多线程导入数据，........

yes

0 2011-07-03 16:38:38

只看TA 引用举报 #2 得分 5

⋅oralce中实现类似many in many的语句 ⋅apache 和tomcat mod_jk整合之后，仅允许部分ip段访问 ⋅oracle 内连接和查询时单独查询的效率区别 更多帖子 关注私信空间博客 fly_m 本版专家分：9173: 45万条，要不到那么长时间。开多线程，每线程负责一部分数据，线程也不要开多了。建议就开45个线程吧，一个线程导1万条。

线程间不要进行通信，不要关联。如果内存够大，一次多取点数据在内存中，减少处理逻辑及访问数据库的时间。

0 2011-07-03 16:44:09

只看TA 引用举报 #3 得分 10

⋅mysql递归查询统计 ⋅mysql 数据库处理并发量TPS ⋅ byte问题 BLAKE2b-256('ZcashPrevoutHash', b'') 更多帖子 关注私信空间博客 xianaofei 本版专家分：5140: 你可以用for()循环开多个线程然后用事物和批量处理 1000条提交一次
事物处理放在for循环的外面

0 2011-07-03 21:34:13

只看TA 引用举报 #4 得分 5

scare111 本版专家分：527: MYSQL自带的工具没有吗？

0 2011-07-04 09:20:09

只看TA 引用举报 #5 得分 0

⋅翻转效果 ⋅翻转效果 ⋅JAVA中如何将Object类对象赋给自定义类 更多帖子 关注私信空间博客 低调茄子 本版专家分：0: 引用 5 楼 scare111 的回复:
MYSQL自带的工具没有吗？

我要用程序的

0 2011-07-04 10:22:12

只看TA 引用举报 #6 得分 0

⋅系统设计之粒度控制讨论，欢迎大神来指点！！ ⋅10万年薪，你也许能够找到比我好的职员，但你千万不要以为仅仅靠这10万年薪就可以留住一个技术人员的心。 ⋅征集乐友 更多帖子 关注私信空间博客 xieshengjun2009 本版专家分：4013: Study!

0 2011-07-04 10:34:22

只看TA 引用举报 #7 得分 0

kyousuke 本版专家分：526: 每天10分

0 2011-07-04 11:06:46

只看TA 引用举报 #8 得分 0

⋅求帮忙起个教育类网站名字 ⋅Exchange 2013 权限问题 ⋅使用ews-java-api 向exchange2007 创建会议时发生异常 更多帖子 关注私信空间博客 zn85600301 本版专家分：31017 红花 2011年7月 Java大版内专家分月排行榜第一 蓝花 2011年3月 Java大版内专家分月排行榜第三: 引用 3 楼 fly_m 的回复:
45万条，要不到那么长时间。开多线程，每线程负责一部分数据，线程也不要开多了。建议就开45个线程吧，一个线程导1万条。

线程间不要进行通信，不要关联。如果内存够大，一次多取点数据在内存中，减少处理逻辑及访问数据库的时间。

多线程不一定比单线程快每个线程之间争用CPU执行时间块  容易带来更大的性能损耗

楼主可以百度下将insert 写成程序块之类的  貌似是加上begin N个insert语句写一起 end；

0 2011-07-04 11:46:18

只看TA 引用举报 #9    得分 10

⋅翻转效果 ⋅翻转效果 ⋅JAVA中如何将Object类对象赋给自定义类 更多帖子 关注私信空间博客 低调茄子 本版专家分：0: 感谢大家，不过我改进了一下，用的是批量导入，12分钟导完了45万条数据，我们技术总监说，还不够快，12分钟450也可以导进去。
我用的是MySQL数据库。Java语言，在service层处理数据，从外部文件txt读出来，写到数据库一张表中。数据库操作用的是JDBC

0 2011-07-04 15:09:54

只看TA 引用举报 #10 得分 0

凯瑞甘 本版专家分：791: 用多线程，线程开的多少自己看，你读的时候可以试着换一下输入流，导入的话用pre...那个

0 2011-07-04 15:23:29

只看TA 引用举报 #11 得分 5

⋅翻转效果 ⋅翻转效果 ⋅JAVA中如何将Object类对象赋给自定义类 更多帖子 关注私信空间博客 低调茄子 本版专家分：0: 感谢大家，最后我用的是LOAD DATA语句，先把数据写到txt文件里，最后一次装载到数据库里。这样好几百万条数据很快就弄进去了。

0 2011-07-17 16:51:47

只看TA 引用举报 #12 得分 0

收藏帖子