binlog为什么没有记录一些insert操作呢

2012-10-18 01:52:18 1.4k 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

阿里云人工智能工程师ACA认证免费课程学习笔记阿里云人工智能工程师ACA认证免费课程学习笔记阅读详情

两台服务器之间的mysql做了主从配置，但是发现有两张表主从不一致，分析发现主mysql的binlog里面少了一些insert语句，结果从表中就没有这部分数据，另外奇怪的是，并不是所有的insert都没有，而是部分，也就是说，对主mysql的两张表的部分insert操作没有记录，结果这些数据主表有，从表却没有。

...全文

打造你自己的小程序容器 —— 一套能装得下整个未来的跨端技术！摘要：本文介绍了一种基于Capacitor框架开发的轻量级“小程序容器”解决方案——LapDrop。通过模拟微信小程序的运行逻辑（动态加载、原生能力调用、沙盒环境），LapDrop允许开发者自主构建跨平台（iOS/Android/Web）的小程序生态。其核心利用Capacitor的插件桥接机制，实现JS与原生功能的无缝调用，并支持浏览器调试与原生环境一致化。优势包括插件化架构、状态隔离、热更新及开放权限控制，适用于企业级模块化应用或开发者工具。未来计划扩展生命周期管理、远程加载等功能，目标成为开源的小程序阅读详情

不老书生

MySQL 57,062 成员 56,759 内容

+ 关注 + 加入社区

切换为时间正序

九月茅 2015-03-03

打赏
举报

Replicate_Ignore_DB 肯定是这里设置了，所以被过滤了，不录入到binlog里面了啊。

loveflea 2012-10-28

打赏
举报

指定数据局同步
假如您配置的是同步数据库database-A
但您连接默认的数据库不是database-A,如下面的插入的语句
use database-B;
insert into database-A.table values(...)

这种binlog是不会记录到database-A中的;所以主从就不一致
全部同步则没有这个问题

[Quote=引用 4 楼的回复:]

奇怪，同步设置里去掉指定同步哪个数据库的设置（现在是同步所有数据库），问题就没了，那两张表的数据也完全同步了。

这不是不能同步指定数据库了吗？

求解啊！！！
[/Quote]

lover007 2012-10-25

打赏
举报

复制的过滤主要有２种方式：
1，在主服务器在把事件从进二制日志中过滤掉，相关的参数是:binlog_do_db和binlog_ignore_db。
2，在从服务器上把事件从中继日志中过滤掉，相关的参数是replicate_*。

复制只能扩展读取，不能扩展写入，对数据进行分区可以进行扩展写入。

复制常见的问题：
一，从服务器到底落后于主服务器多少？用Maatkit工具里面的mk-heartbeat脚本。
二，如何确定主从服务器的数据是否一致？用Maatkit工具里面的mk-table-checksum脚本。

复制的优化：

在mysql复制环境中,有8个参数可以让我们控制,需要复制或需要忽略不进行复制的DB或table分别为:
下面二项需要在Master上设置：
Binlog_Do_DB:设定哪些数据库需要记录Binlog
Binlog_Ignore_DB:设定哪里数据库不需要记录Binlog

优点是Master端的Binlog记录所带来的Io量减少，网络IO减少，还会让slave端的IO线程,SQL线程减少，从而大幅提高复制性能,
缺点是mysql判断是否需要复制某个事件不是根据产生该事件的查询所在的DB,而是根据执行查询时刻所在的默认数据库（也就是登录时指定的库名或运行"use database"中指定的DB）,只有当前默认DB和配置中所设定的DB完全吻合时IO线程才会将该事件读取给slave的IO线程.所以,如果在默认DB和设定须要复制的DB不一样的情况下改变了须要复制的DB中某个Table中的数据,该事件是不会被复制到Slave中去的,这样就会造成Slave端的数据和Master的数据不一致.同样,在默认的数据库下更改了不须要复制的数据库中的数据,则会被复制到slave端,当slave端并没有该数据库时,则会造成复制出错而停止.

下面六项需要在slave上设置：
Replicate_Do_DB:设定需要复制的数据库,多个DB用逗号分隔
Replicate_Ignore_DB:设定可以忽略的数据库.
Replicate_Do_Table:设定需要复制的Table
Replicate_Ignore_Table:设定可以忽略的Table
Replicate_Wild_Do_Table:功能同Replicate_Do_Table,但可以带通配符来进行设置。
Replicate_Wild_Ignore_Table:功能同Replicate_Do_Table,功能同Replicate_Ignore_Table,可以带通配符。

优点是在slave端设置复制过滤机制,可以保证不会出现因为默认的数据库问题而造成Slave和Master数据不一致或复制出错的问题.
缺点是性能方面比在Master端差一些.原因在于:不管是否须要复制,事件都会被IO线程读取到Slave端,这样不仅增加了网络IO量,也给Slave端的IO线程增加了Relay Log的写入量.

不老书生 2012-10-23

打赏
举报

[Quote=引用 6 楼的回复:]

主从配置有问题，当初的配置是否成功。
[/Quote]

当初的配置是成功的，都能执行，只是里面有2张表的部分数据不能同步。

我们就配置成功后运行，开始检查一些表都正常同步了，以为没问题。后来查到有2张表的一部分数据没同步，就是说这2张表的另一部分数据也是能正常同步的，很奇怪。

现在是把制定同步的数据库配置去掉了，现在是同步所有数据库了（总共有两个数据库，其中一个本事不需要同步的），但是数据都能正常同步了。

Rotel-刘志东 2012-10-19

打赏
举报

主从配置有问题，当初的配置是否成功。

ACMAIN_CHM 2012-10-18

打赏
举报

是否当时的主从有问题？

不老书生 2012-10-18

打赏
举报

奇怪，同步设置里去掉指定同步哪个数据库的设置（现在是同步所有数据库），问题就没了，那两张表的数据也完全同步了。

这不是不能同步指定数据库了吗？

求解啊！！！

rucypli 2012-10-18

打赏
举报

还没碰到过master插入数据而binlog没有记录的，而且还是只针对特定一个表没有记录binlog

能重现吗不能重现先把数据整同步

不老书生 2012-10-18

打赏
举报

[Quote=引用 1 楼的回复:]

你说的这种情况基本不太可能

请确定主从表结构完全一致，并且show slave status正常
[/Quote]

您好！从表是主表备份恢复的，status正常，因为其他所有表和数据都是能够正常实时备份到从表的，就有两张表的部分插入数据不正常。查了很久才发现是一些insert操作没有记录到binlog文件里，所以无法同步到从机。

首先是binlog里就没有部分insert，感觉跟主从同步不同步还没有关系。

挠头好几天了，也没有解决思路。希望高手指点

rucypli 2012-10-18

打赏
举报

你说的这种情况基本不太可能

请确定主从表结构完全一致，并且show slave status正常

binlog为什么没有记录一些insert操作呢

相关推荐