社区
Java SE
帖子详情
JAVA实现监控mysql某表数据量变化解决方案
hu5465
2018-04-17 07:08:30
我现在要做一个监控业务数据的系统,定时去检测某一表数据的增量情况(每5分钟,每10分钟,每30分钟,趋势图),我怎么设计好呢? 我想到的是肯定需要把数据计算好,并且持久化存储下来 现在数据库就是用mysql,然后还有es,然后得考虑下系统数据一直增长的情况,我不知道字段怎么设计好,然后怎么存储好,这个计算结果放在es的话怎么存储好呢? 求大神指教
...全文
2061
3
打赏
收藏
微信扫一扫
点击复制链接
分享
下载分享明细
分享
举报
写回复
3 条
回复
切换为时间正序
当前发帖距今超过3年,不再开放新的回复
发表回复
摇曳风雨中
2019-04-08
DAO层监控insert操作。数字缓存进redis,增量操作只需要increament count
打赏
举报
回复
赞
hu5465
2018-04-20
不单是增量 还需要有历史数据 是业务数据的监控,最好是放在ES里面
打赏
举报
回复
赞
阿闰
2018-04-18
如果只是增量,很容的,可以用触发器解决(触发器是通过增、删、改进行触发执行的。会在事件发生时自动强制执行。 常见触发器:after(for)或 instead of 用于 insert、update、delete事件。) 如:A表示业务表,自己再建一张表B 必须有cout,time(根据业务需要建立字段),建立触发器当A表添加数据时,触发器insert往B表插入数据,程序只用处理B表,至于A表添加了多少,完全不用担心。
打赏
举报
回复
赞
相关推荐
[Impala]impala
监控
任务 用es+grafana
实现
监控
一、前言 目前要对impala执行的任务进行
监控
,目前采用的是用python每10分钟请求Cloudera Manager的数据,然后发送到es,配合grafana进行展示。 大致的架构图如下: 二、impala 任务REST API 首先要知道CM 关于 impala 任务的rest api是什么才能进行后续的工作。 1. cm的rest api 文档 通过cm界面可以很快的找到cm的api文档 2. 在api文档中找关于impala 的api 下面这些就是和impala 相关的api /clust
php
实现
mysql
分表,php
实现
的
mysql
分表方案(水平切分)
假设应用场景是一个顾客下单系统,现在有1亿条订单,1亿条数据放在1张表里,
mysql
的压力会非常大。我们现在采用水平分表方案,把这一张表拆分成若干个表,当表中的
数据量
比较少的时候,
mysql
的压力就将下来了,查询速度也会非常快。目前可以有如下的两种方案:每张表500万条数据,依据id顺序依次存储到相应的表里。根据顾客id,将同一顾客的订单存储在同一张表中。这个就需要考虑未来几年系统的增量,假设我们...
mysql
大表的
解决方案
,及Hive分页查询
先说一下遇到的问题,然后给出自己的
解决方案
,虽然不一定是最佳的解决方法,但是目前确实解决了公司的大表数据问题,如果其他小伙伴有更好的解决方法,也请多多交流,给出自己的解决方法。 目前所有的数据和工具组件都是基于腾讯云搭建和管理,先说下我们遇到的情况: 1.
mysql
表查询
数据量
较大(最大的一张表已经达到33亿条数据,整个
mysql
已经达到2.9T的数据存储), 2.
mysql
表每日新增
数据量
...
java
分表操作_
java
实现
动态
实现
“分表”
首先说一下,这个功能其实也不算是很少见,但是也没那么常见。有的时候涉及到的
数据量
比较大,我们会用一个很时髦的词“分表”来
实现
。但是其实更多时候这个表是按照时间来“分”的,所以我这里是一种不那么动态,但是也
实现
了分表的方式
实现
的。先说一下大概的情况:我们这里是硬件设备数据的存储,每个设备开机的情况下30s推送一次数据。简单算一下,如果100个设备同时开机,一个月的记录数就是:每分钟2条 * 60分钟...
比较两个表的数据是否一致(
MySQL
存过
实现
)
背景: 比如生产库数据和测试库数据,我现在有脚本的变更或者优化,我先再需要比较同一批次的数据是否一致 思路: 每一条比对上的字段对应的数据都需要一致,于是我先比对每一条字段的数据是否一致,然后对字段进行循环即可。 大体代码奉上: CREATE DEFINER=`***项目必要,已隐藏**`@`%` PROCEDURE `compare_twotb_data`( IN `TABLE1` VARCHAR(50), IN `TABLE2` VARCHAR(50), IN `timestr` VARCHAR
发帖
Java SE
微信扫一扫
点击复制链接
分享社区
下载分享明细
6.2w+
社区成员
30.7w+
社区内容
Java 2 Standard Edition
社区管理员
加入社区
帖子事件
创建了帖子
2018-04-17 07:08
社区公告
暂无公告