设计一个多线程和数据库的问题

jeffsc 2015-07-04 11:08:28
有一个表数据,500w左右数据量,现在需要把表数据取出来操作,从多线程方面着手思考应该考虑什么问题,大家各抒己见,发散思维,不局限。
...全文
157 4 打赏 收藏 转发到动态 举报
写回复
用AI写文章
4 条回复
切换为时间正序
请发表友善的回复…
发表回复
  • 打赏
  • 举报
回复
2楼的感觉是可行的,但是要保证数据库中的数据不会有删除,不影响分页查询的行号
疯狂熊猫人 2015-07-04
  • 打赏
  • 举报
回复
用一个全局的变量控制每个线程应该读取的数据起止行数不就OK了? AtomicInteger就可以实现你的功能,每个线程开始的时候都从AtomicInteger获取读取的起始行,并累加需要读取的行数
Inhibitory 2015-07-04
  • 打赏
  • 举报
回复
一个线程从 DB 里分页查询数据,得到后交给其他线程去处理,可用线程池
zhuyuge0 2015-07-04
  • 打赏
  • 举报
回复
提个简单方案、mr、mapper负责分区扫表、reduce负责对数据业务逻辑处理

81,090

社区成员

发帖
与我相关
我的任务
社区描述
Java Web 开发
社区管理员
  • Web 开发社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧