新人求助,大数据量高并发情况下写入数据库问题

HIBoy23 2018-07-12 05:09:40
在使用 kafka-storm-MariaDB 流程中,storm 计算后的数据量很大,最后需要入库到 MariaDB,有没有大神有什么好的方法可以减轻数据库压力,定时器五分钟执行一次,数据量大概五分钟有三千万左右,目前逻辑是正常 insert into 语句,Batch 数量为十万条 commit 一次。
...全文
1178 5 打赏 收藏 转发到动态 举报
写回复
用AI写文章
5 条回复
切换为时间正序
请发表友善的回复…
发表回复
济南大飞哥 2018-12-20
  • 打赏
  • 举报
回复
MariaDB 换成 elasticsearch
Defonds 2018-12-18
  • 打赏
  • 举报
回复
冷热分离,保证核心业务的处理能力
qq_32174017 2018-12-18
  • 打赏
  • 举报
回复
我能把一百万数据的插入耗时8秒完成。
nickycheng 2018-07-16
  • 打赏
  • 举报
回复
每秒10w.... redis的性能极致这个量级吧,还是小报文。你这是要上天啊。。。我觉得基本没可能
Elliott_ZJ 2018-07-16
  • 打赏
  • 举报
回复
storm ->kafka-->MariaDB,不应该是这样一个流程么?

62,612

社区成员

发帖
与我相关
我的任务
社区描述
Java 2 Standard Edition
社区管理员
  • Java SE
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧