社区
Java SE
帖子详情
JAVA实现监控mysql某表数据量变化解决方案
hu5465
2018-04-17 07:08:30
我现在要做一个监控业务数据的系统,定时去检测某一表数据的增量情况(每5分钟,每10分钟,每30分钟,趋势图),我怎么设计好呢? 我想到的是肯定需要把数据计算好,并且持久化存储下来 现在数据库就是用mysql,然后还有es,然后得考虑下系统数据一直增长的情况,我不知道字段怎么设计好,然后怎么存储好,这个计算结果放在es的话怎么存储好呢? 求大神指教
...全文
2301
3
打赏
收藏
JAVA实现监控mysql某表数据量变化解决方案
我现在要做一个监控业务数据的系统,定时去检测某一表数据的增量情况(每5分钟,每10分钟,每30分钟,趋势图),我怎么设计好呢? 我想到的是肯定需要把数据计算好,并且持久化存储下来 现在数据库就是用mysql,然后还有es,然后得考虑下系统数据一直增长的情况,我不知道字段怎么设计好,然后怎么存储好,这个计算结果放在es的话怎么存储好呢? 求大神指教
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
摇曳风雨中
2019-04-08
打赏
举报
回复
DAO层监控insert操作。数字缓存进redis,增量操作只需要increament count
hu5465
2018-04-20
打赏
举报
回复
不单是增量 还需要有历史数据 是业务数据的监控,最好是放在ES里面
阿闰
2018-04-18
打赏
举报
回复
如果只是增量,很容的,可以用触发器解决(触发器是通过增、删、改进行触发执行的。会在事件发生时自动强制执行。 常见触发器:after(for)或 instead of 用于 insert、update、delete事件。) 如:A表示业务表,自己再建一张表B 必须有cout,time(根据业务需要建立字段),建立触发器当A表添加数据时,触发器insert往B表插入数据,程序只用处理B表,至于A表添加了多少,完全不用担心。
mysql
如何解决大
数据量
存储问题
mysql
如何解决大
数据量
存储问题
Java
监听
mysql
的binlog详解(
mysql
-binlog-connector)
Java
监听
mysql
的binlog详解1.需求概述1.1 需求概述1.2
实现
方案2.环境准备2.1
mysql
开启binlog2.1.1查看是否开启binlog2.1.2 win
mysql
开启binlog3.代码编写3.1 创建springboot项目3.2 引入依赖3.3 监听
实现
4.
实现
验证 1.需求概述 1.1 需求概述 业务开发中经常需要根据一些数据变更
实现
相对应的操作。例如,一些用户注销自己的账户,系统可以给用户自动发短信确认,这时有两种
解决方案
,一种是耦合到业务系统中,当用户执行注销操作的
java
监控
框架_一种
Java
实现
的Zabbix
监控
框架——Zabbix/J
Zabbix/J是一个能够将Zabbix
监控
整合入
Java
应用程序的框架,而Zabbix是一个开源的企业级分布式
监控
解决方案
,它可以在整个基础设施中提供遥测和触发器的功能。Zabbix/J实际上是一个
Java
版本的Zabbix探针,它可以很方便地采集
Java
应用程序中的各种数据,并且可以将它们发送至Zabbix服务器,使得技术人员可以在Zabbix的前端页面上对其进行
监控
。Zabbix/J的系统需...
MySQL
千万级数据优化方案
数据库千万级数据、查询优化。
小米技术分享:
Mysql
数据实时同步实践
MySQL
由于自身简单、高效、可靠的特点,成为小米内部使用最广泛的数据库,但是当
数据量
达到千万/亿级别的时候,
MySQL
的相关操作会变的非常迟缓;如果这时还有实时BI展示的需求,对于
mysql
来说是一种灾难。为了解决sql查询慢,查不了的业务痛点,我们探索出一套完整的实时同步,即席查询的
解决方案
,本文主要从实时同步的角度介绍相关工作。早期业务借助Sqoop将
Mysql
中的数据同步到Hive来进行数据分析,使用过程中也带来了一些问题:为了更有效地连接前端业务数据系统(
MySQL
)和后端统计分析系统(查询分析引
Java SE
62,614
社区成员
307,327
社区内容
发帖
与我相关
我的任务
Java SE
Java 2 Standard Edition
复制链接
扫一扫
分享
社区描述
Java 2 Standard Edition
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章