社区
Java SE
帖子详情
新人求助,大数据量高并发情况下写入数据库问题
HIBoy23
2018-07-12 05:09:40
在使用 kafka-storm-MariaDB 流程中,storm 计算后的数据量很大,最后需要入库到 MariaDB,有没有大神有什么好的方法可以减轻数据库压力,定时器五分钟执行一次,数据量大概五分钟有三千万左右,目前逻辑是正常 insert into 语句,Batch 数量为十万条 commit 一次。
...全文
1178
5
打赏
收藏
新人求助,大数据量高并发情况下写入数据库问题
在使用 kafka-storm-MariaDB 流程中,storm 计算后的数据量很大,最后需要入库到 MariaDB,有没有大神有什么好的方法可以减轻数据库压力,定时器五分钟执行一次,数据量大概五分钟有三千万左右,目前逻辑是正常 insert into 语句,Batch 数量为十万条 commit 一次。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
5 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
济南大飞哥
2018-12-20
打赏
举报
回复
MariaDB 换成 elasticsearch
Defonds
2018-12-18
打赏
举报
回复
冷热分离,保证核心业务的处理能力
qq_32174017
2018-12-18
打赏
举报
回复
我能把一百万数据的插入耗时8秒完成。
nickycheng
2018-07-16
打赏
举报
回复
每秒10w.... redis的性能极致这个量级吧,还是小报文。你这是要上天啊。。。我觉得基本没可能
Elliott_ZJ
2018-07-16
打赏
举报
回复
storm ->kafka-->MariaDB,不应该是这样一个流程么?
我在CSDN参与的3000个帖子
今日偶然翻到,感慨万千 1:申述:版主,是否扣了我的专家分? 2:100分急求,随机输出十个小写字母,但是,要求这十个字母不相同 3:求Sn=a+aa+aaa+…+aaa…a(n个a)之值 4:数组题 望高手帮忙! 5:呵呵,来推荐一下我的网站,本站提供大
量
当今流行的免费的音乐和免费电影,常用软件、游戏、精美图库下载,希望对网友有帮助!顺便散分! 6:VBA请教怎
【Java学习全家桶】1460道Java热门
问题
,阿里百位技术专家答疑解惑
原文链接:点击打开链接阿里极客公益活动:或许你挑灯夜战只为一道难题或许你百思不解只求一个答案或许你绞尽脑汁只因一种未知那么他们来了,阿里系技术专家来云栖问答为你解答技术难题了他们用户自己手中的技术来帮助用户成长本次活动特邀百位阿里技术专家对Java常见
问题
进行了集中解答,在短短3天时间专家回答了1460道Java
问题
如何学习Java作为一个java学习者,重复写轮子是否必要 https://yq....
这一年,这些书:2020年读书笔记
Note: 以下 markdown 格式文本由 json2md 自动转换生成,可参考JSON转Markdown:我把阅读数据从MongoDB中导出转换为.md了了解具体的转换过程。 面纱 作者:毛姆[英] ISBN:9787210082835 出版社:江西人民出版社 出版日期:2016-04-01 图书标签:毛姆,小说,英国文学,英国,外国文学 豆瓣地址:https://book.douban.com/subject/26757680/ 阅读日期:2020-01-19 读书笔记 威廉·萨默塞特·毛姆(
webmagic采集CSDN的Java_WebDevelop页面
使用webmagic采集博客类的网站示例
Nmap
一、简介 端口扫描是网络安全工作者的必备的利器,通过对端口的扫描,了解网站中出现的漏洞以及端口的开放
情况
,对网站安全方面有着不可或缺的贡献,Nmap是一款开源免费的网络发现(Network Discovery)和安全审计(Security Auditing)工具。nmap成为世界千万安全专家列为必备的工具之一。nmap具有以下的这一些优点:1、多种多样的参数,丰富的脚本库,满足用户的个人定制需求...
Java SE
62,612
社区成员
307,332
社区内容
发帖
与我相关
我的任务
Java SE
Java 2 Standard Edition
复制链接
扫一扫
分享
社区描述
Java 2 Standard Edition
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章