TDSQL·进阶篇·Binlog 日志消费格式

2022-03-17 11:17:09 6.2k 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

weixin_44020914 墨衍会员 · AI 创作全网分发关注 + 加入社区

腾讯云MySQL binlog拉取与解析实践：从复制协议到断点续传 binlog是MySQL中记录所有写操作变更的二进制日志，也是数据恢复、审计追溯与异构数据同步的核心依据。在腾讯云数据库这类托管环境下，binlog无法像自建MySQL那样直接通过文件系统读取，必须借助复制协议或OpenAPI才能获取。理解binlog的事件结构、ROW格式镜像以及GTID定位原理，是构建可靠变更数据管道的基础。通过模拟slave建立复制连接，可以实时拉取增量事件，再结合事件解析与位点管理，即可实现精准的断点续传和低延迟消费。该方案广泛适用于数据库误操作恢复、合规审计、以及将MySQL变更同阅读详情

数据订阅功能帮助客户实时获取云数据库 MariaDB 以及分布式数据库 TDSQL 中的增量数据，客户能够根据自身业务的需求，自由地对实时增量数据进行处理。

功能列表

支持公有云云数据库 MariaDB 和分布式数据库 TDSQL 实例的数据订阅。
支持专有云云数据库 MariaDB 和分布式数据库 TDSQL 实例的数据订阅。

数据源类型

TencentDB for MariaDB、分布式数据库 TDSQL

消息格式

数据订阅功能对实例的 Binlog（row 格式）进行解析，并将 Binlog 事件封装成 json 格式的消息上传至 Kafka 集群。消息类型包括 DML 事件、GTID 事件、XID 事件、QUERY 事件。其中 DML 事件包括 insert、update、delete 事件，表征对数据行的更改；GTID 事件表征事务的开始；XID 事件表征事务的提交；QUERY 事件表征 DDL 语句。

DML 消息格式如下：

{
    "logtype":"mysqlbinlog",          //日志类型，取值唯一，为 mysqlbinlog
    "eventtype":23,                   //事件类型码，对应 mysql 中 binlog 事件类型码

    "eventtypestr":"insert",          /*事件类型字符串，包括 insert、update、delete、gtid、xid、query 事件。
                                        其中insert、update、delete 事件对应 DML 语句；tid 事件标识事务开始；
                                        xid 事件标识事务结束；query 事件标识 DDL 语句 */
    "db":"testdb",                    //库名
    "table":"testtable",              //表名
    "localip":"000.00.000.000",       //实例所在机器 IP
    "localport":0000,                 //实例端口
    "begintime":1511350073,           //事务开始时间，当前事件所在的事务的开始时间
    "gtid":"0-2670193178-726233561",  //GTID，当前事件所在事务的 gtid
    "event_index":"4",                //表征该事件在该事务中的序号  
    "where":[                         //where 字段，标识该行变更前的各个字段的值

    ],
    "field":[                         //field 字段，标识该行变更后的各个字段的值
        "1",
        "'name1'"
    ]
}

····

...全文