我的问题:我接触数据库较为深入的应用太少,没经验,简单的浏览了下资料,发现大多数资料并没有描述到对记录时间进行限定这样的细节配置,我想到也许可以利用数据库的类似定时任务这样的机制,定时每个月进行查看每个表的加入时间字段,对于超出上述临界值的予以删除或者进行其他操作. 请问如果用到过Replication的同学,能否通过对Replication进行配置就能解决,而不用另外添加些定时任务.
-
等级
本版专家分：0结帖率 100% -
问题背景:客户要求简单的双击热备,即某一台db仅作为备份目的,并不被切换成主db服务器,但是对于备份记录的时间有要求,主db服务器存储近一年的数据,备份的副db服务器存储近3年的数据.
我的问题:我接触数据库较为深入的应用太少,没经验,简单的浏览了下资料,发现大多数资料并没有描述到对记录时间进行限定这样的细节配置,我想到也许可以利用数据库的类似定时任务这样的机制,定时每个月进行查看每个表的加入时间字段,对于超出上述临界值的予以删除或者进行其他操作. 请问如果用到过Replication的同学,能否通过对Replication进行配置就能解决,而不用另外添加些定时任务.展开阅读全文
-
版主
等级
本版专家分：106068勋章
-
-
红花
2017年6月 其他数据库开发大版内专家分月排行榜第一
2017年2月 其他数据库开发大版内专家分月排行榜第一
2013年11月 其他数据库开发大版内专家分月排行榜第一
2013年9月 其他数据库开发大版内专家分月排行榜第一
2013年2月 其他数据库开发大版内专家分月排行榜第一
-
-
黄花
2018年2月 其他数据库开发大版内专家分月排行榜第二
2018年1月 其他数据库开发大版内专家分月排行榜第二
2017年12月 其他数据库开发大版内专家分月排行榜第二
2017年11月 其他数据库开发大版内专家分月排行榜第二
2017年1月 其他数据库开发大版内专家分月排行榜第二
2014年8月 其他数据库开发大版内专家分月排行榜第二
2014年2月 其他数据库开发大版内专家分月排行榜第二
2014年1月 其他数据库开发大版内专家分月排行榜第二
2013年12月 其他数据库开发大版内专家分月排行榜第二
2013年10月 其他数据库开发大版内专家分月排行榜第二
2013年8月 其他数据库开发大版内专家分月排行榜第二
2013年5月 其他数据库开发大版内专家分月排行榜第二
2013年1月 其他数据库开发大版内专家分月排行榜第二
2012年8月 其他数据库开发大版内专家分月排行榜第二
2012年5月 其他数据库开发大版内专家分月排行榜第二
2012年4月 其他数据库开发大版内专家分月排行榜第二
2012年1月 其他数据库开发大版内专家分月排行榜第二
-
-
蓝花
2017年9月 其他数据库开发大版内专家分月排行榜第三
2017年7月 其他数据库开发大版内专家分月排行榜第三
2017年5月 其他数据库开发大版内专家分月排行榜第三
2017年3月 其他数据库开发大版内专家分月排行榜第三
2016年12月 其他数据库开发大版内专家分月排行榜第三
2014年11月 其他数据库开发大版内专家分月排行榜第三
2014年7月 其他数据库开发大版内专家分月排行榜第三
2014年6月 其他数据库开发大版内专家分月排行榜第三
2014年5月 其他数据库开发大版内专家分月排行榜第三
2013年7月 其他数据库开发大版内专家分月排行榜第三
2013年3月 其他数据库开发大版内专家分月排行榜第三
2012年7月 其他数据库开发大版内专家分月排行榜第三
2012年6月 其他数据库开发大版内专家分月排行榜第三
2011年12月 其他数据库开发大版内专家分月排行榜第三
-
-
明显要定时任务
-
等级
本版专家分：0
-
回楼上的，请问Replication的配置项中难道就没有能对记录的时间其进行控制么？
-
等级
本版专家分：20947勋章
-
- 黄花 2017年4月 其他数据库开发大版内专家分月排行榜第二
-
- 蓝花 2008年11月 VB大版内专家分月排行榜第三
-
-
create procedure ClearDB()
begin
SET SQL_LOG_BIN = 0； # 暂时关闭日志
delete from TBName where year(now())-year(ttime)=1; # 主库删除一年前的数据
SET SQL_LOG_BIN = 1； #再打开日志
end ;
在删除的时候，必须先关闭日志，要么删除命令会同步到从库上，两边都会被删除。
这个存储过程什么时候执行，可以用EVENT来设置。
从库保留3年的数据，delete from TBName where year(now())-year(ttime)=3；这样就可以了。调度也用EVENT来做。
-
等级
本版专家分：0
-
非常感谢楼上的提醒，差点就忘记了关闭日志这个重要步骤。
-
等级
本版专家分：20947勋章
-
- 黄花 2017年4月 其他数据库开发大版内专家分月排行榜第二
-
- 蓝花 2008年11月 VB大版内专家分月排行榜第三
-
-
搞定结贴吧。
-
等级
本版专家分：473011勋章
-
- 名人 2012年 荣获名人称号
-
- 榜眼 2010年 总版技术专家分年内排行榜第二
-
- 探花 2009年 总版技术专家分年内排行榜第三
-
-
进士
2013年 总版技术专家分年内排行榜第十
2011年 总版技术专家分年内排行榜第七
-
-
一种方案就是不用复制，每天定时从A机把数据导出，然后到B机导入。并且在A机删除1年前的数据。
-
等级
本版专家分：471 -
zuoxingyu很强啊，用procedure和event用的这么溜，我还没怎么用过……
- replication 复制集架构模式配置
mongod有关replication 的基本配置项： replication: oplogSizeMB: #oplog大小，单位MB，默认10240 replSetName: #复制集名称，所有node都必须配置一致 secondaryIndexPrefetch: #is only available with ...
- 【20180402】MySQL关于replication filter和trigger的一些应用
需求描述 1.内网服务器有俩套主从复制环境，一套是基于传统复制的5.6.26版本，另外一套是基于GTID的5.7.19版本的复制。现在开发的需求是需要将基于传统复制的上面的俩个表同步到基于基于GTID复制上面去，并且要求...
- hive replication的报错总结
这几天在做hive数据同步，来唠唠遇到过的报错 1、java.io.IOExeption: Checksum mismatch between hdfs://distcpSourceNS/user/hive/warehouse/edmp_db.db/xxxx and hdfs://dsep-namservice1//user/hive/...
- Replication-Replication Distribution Subsystem: agent xxxxxx failed. Column names in each table mus....
最近遇到一个关于发布订阅（Replication）的奇葩问题，特此记录一下这个案例。我们一SQL SERVER数据库服务器出现大量告警。告警信息如下所示： DESCRIPTION: Replication-Replication Distribution Subsystem: agent...
- 关于hadoop的dfs.replication 的一个问题
今天在使用hadoop fsck / 命令查看hadoop dfs时，输出如下： ............................................. /user/hadoop/.staging/job_1381991904684_0036/libjars/zookeeper-3.4.5-cdh4.3.0.jar: Under ...
- 关于Kafka Replication机制
Replication Kafka的replication复制机制是其可靠性的保证，即为每个分区数据提供多个副本。 每个Kafka topic包含有多个分区，分区是kafka存储数据的基本单位。一个分区只能存储在同一个硬盘上。 Kafka保证每...
- Replication
Redis replication is a very simple to use and configure master-slave replication that allows slave Redis servers to be exact copies of master servers. The following are some very important facts about
- HBase Replication Overview
摘自：HBase Replication OverviewApache HBase Replication is a way of copying data from one HBase cluster to a different and possibly distant HBase cluster. It works on the principle that the ...
- 关于hdfs-site.xml的dfs.replication属性
1.dfs.replication属性的一些概念 dfs.replication是个client参数，即node level参数，需要在每台datanode上设置。默认为3个副本已经够用了，设置太多也没什么用。 Hadoop的备份系数是指每个block在hadoop集群中有...
- HBase Replication详解
本文从全局出发，详细讲解了HBase的Replication和Replication Endpoint的用法及实践。往期文章回顾：一文读懂HBase多租户Replicat...
- Group Replication 环境搭建
文章目录Group Replication 环境搭建基本环境部署规划基本初始化解压 MySQL添加 mysql 用户更改 mysql 目录权限创建数据库数据目录更改目录权限基本安装配置文件说明重要参数说明group_replication_group_namegroup_...
- SQL Server Replication
sql server replication
- ReplicationController，ReplicationSet和DaemonSet的区别
1.ReplicationController 用于控制和管理Pod资源，通常由label selector，replica count和pod temple三部分组成。 replica count：pod个数。ReplicationController总是会保证集群中存在replica count个pod。若实际...
- 配置Mysql Group Replication遇到的问题笔记
START GROUP_REPLICATION; 后出现以下问题： ERROR 3092 (HY000): The server is not configured properly to be an active member of the group. Please see more details on error log. 发现，本机无法ping通，...
- Redis基础进阶--主从Replication
Master持久化功能关闭时Replication的安全性 replication工作原理 数据部分复制 不需硬盘参与的Replication 相关配置 只读的slave 至少N个slave才允许向master写数据 概述 Redis的replication机制允许slave...
- Kafka之——replication factor: 1 larger than available brokers: 0 问题解决方案
转载请注明出处：... 一、问题 用kfafka命令：./kafka-server-start.sh ../config/server.properties &启动时报以下错误： [2018-01-28 21:54:44,745] ERROR [KafkaApi-100
- Redis replication 揭秘
一、要解决的问题 按照Redis 官方文档 - Replication的说法：Redis replication 是一种 master-slave 模式的复制机制，这种机制使得 slave 节点可以成为与 master 节点完全相同的副本。 我们知...
- replication-manager
MYSQL5.7下搭建Replication-Manager 环境说明 在主机1，主机2，主机3上安装MySQL服务端和客户端。 主机1 主机2 主机3 操作系统 CentOS7.4 CentOS7.4 CentOS...
- Pulsar官方文档翻译-概念和架构-基于地理位置复制（Geo Replication）
官网原文标题《Concepts and Architecture--Geo Replication》 翻译时间：2018-11-05 官网原文地址：http://pulsar.apache.org/docs/en/concepts-replication/ ------------------------------------------------...
- group replication
本课件包含：1， MySQL... multi group replication 部署配置3，my.cnf 配置参数1， MGR 官方文档及注意点：Deploying Group Replication in Single-Primary Mode部署 MySQL组复制 单主模式Create the data direct...
- 备份恢复以及replication复制问题
1、防止数据丢失的最有效的方法是什么？对于mysql数据库而言，如何创建数据副本？ 最有效的方法就是定期对原始数据进行备份，创建原始数据的副本，当原始数据丢失时，利用副本恢复数据。 创建数据副本的方式有三种...
- MySQL创建用户并授权REPLICATION CLIENT和REPLICATION SLAVE
REPLICATION CLIENT：授予此权限，复制用户可以使用 SHOW MASTER STATUS, SHOW SLAVE STATUS和 SHOW BINARY LOGS来确定复制状态。 REPLICATION SLAVE：授予此权限，复制才能真正工作。 一般复制账号需要以上两个...
- 为什么要慎用replication slot
复制槽（replication slot）在postgresql9.4版本中被引入，引入之初是为了防止备库需要的xlog日志在主库被删除，主库会会根据备库返回的信息确认哪些xlog已不再需要，，才能进行清理。同时主库不会移除那些导致恢复...
- HBase Replication的源码解析
Replication的类结构：replication的类结构包括了ReplicationSource、ReplicationSourceManager和ReplicationSink、ReplicationSinkManger以及ReplicationEndpoint五部分组成。ReplicationSource是源端负责读取wal ...
- hadoop的dfs.replication和备份数问题
首先 dfs.replication这个参数是个client参数，即node level参数。需要在每台datanode上设置。其实默认为3个副本已经够用了，设置太多也没什么用。一个文件，上传到hdfs上时指定的是几个副本就是几个。以后你修改了...
- MySQL 高可用方案 MGR（Mysql Group Replication）配置及常见问题
目录1 前提条件2 单主方案+多主方案两种，建议单主方案，多主方案有不少问题。3 服务器配置4 常见问题：5 应用层面配置 1 前提条件 mysql5.7.17以后版本， 建议5.7.20以上。 目前使用的是5.7.29 引擎必须为innodb,...
- 关于Hadoop中replication factor解惑
我们在向hadoop写入文件时，这个文件的“replication”个数到底该如何控制？ 在hadoop server端，core-site.xml中有个参数为“file.replication”,同时在hdfs-site.xml中也有个“dfs.replication”，这两个参数...
- vSphere Replication--vSphere 复制
一、关于replication（复制）： vSphere复制是vCenter Server的扩展。 它提供基于管理程序的虚拟机复制和恢复。 这里要提到一个概念： 源站点和目的站点： 在典型的vSphere Replication安装中， 源站点提供了关键...
- postgresql之replication slot
replication slots 是从 postgresql 9.4 引入的，主要是提供了一种自动化的方法来确保主控机在所有的后备机收到 WAL 段之前不会移除它们，并且主控机也不会移除可能导致恢复冲突的行，即使后备机断开也是如此。...
- pgsql之pg_stat_replication
pg_stat_replication是一个视图，主要用于监控一个基于流的设置，建议您 注意系统上称作pg_stat_replication的视图。（注：当前版本为pg 10.0,10.0以下版本，字段名会有差异）此视图包含以下信息： \d pg_stat_...