81,092
社区成员
发帖
与我相关
我的任务
分享大批量数据怎么"插"才舒服?
在考虑了优化的情况下
有时数据一个表有时同时间会有几万数据同时提交上来~ 这时web会插入数据直接至超时也没成完成,形成假死都有可能. 容易丢失数据.
打算写个队列线程让他们后台慢慢扯蛋的插. 插完一批又一批.
大伙平时怎么做? 阅历浅, 未试过这么大数据处理的.
这可不是数据导入或什么的.
有时数据一个表有时同时间会有几万数据同时提交上来~ 这时web会插入数据直接至超时也没成完成,形成假死都有可能. 容易丢失数据.
打算写个队列线程让他们后台慢慢扯蛋的插. 插完一批又一批.
大伙平时怎么做? 阅历浅, 未试过这么大数据处理的.
这可不是数据导入或什么的.
...全文
请发表友善的回复…
发表回复
宁波朱超 2013-01-26
- 打赏
- 举报
从后面试试。。。
yxhshuaiman 2013-01-26
- 打赏
- 举报
http://blog.sina.com.cn/s/blog_4b05c12a0100q6z6.html
请看贴
yxhshuaiman 2013-01-26
- 打赏
- 举报
大批量数据 如果是oracle数据库 可以使用oracle数据仓库的 sqlload 上万数据 秒级搞定
小灰狼 2013-01-26
- 打赏
- 举报
封装一个类，在后台用线程插入
前台用 ajax 提交，然后用ajax方式定时向服务器询问插入完成的进度
sencerity 2013-01-25
- 打赏
- 举报
哪有你这样插的呀，不死都残废， 分批次来，另外要看你服务器的处理能力了
IceArmour 2013-01-23
- 打赏
- 举报
事件驱动，后台异步处理
为啥呢 2013-01-23
- 打赏
- 举报
底层的数据实现都会有针对批优化的方法的，比如jdbc的Batch方法，sql的BULK关键字等。
客户端通过js也可以进行优化，比如先写入变量再分批提交。
qazwsxhai 2013-01-23
- 打赏
- 举报
好像太广泛了说明. 想细节一点的.
qazwsxhai 2013-01-23
- 打赏
- 举报
+1
AndyXuq 2013-01-23
- 打赏
- 举报
生产者-消费者模式来..
xulqif 2013-01-23
- 打赏
- 举报
如果数据量特别大，建议放入队列中，另外起一个线程，用线程批量插入，插完了线程关闭
cxw3152 2013-01-23
- 打赏
- 举报
使用缓存 一次性肯定不行。。分批量的插入。。这样舒服。。
sgyyz 2013-01-23
- 打赏
- 举报
其实就是开个线程单独处理。
+1
