用过阿里开源框架 canal 和 Otter 请举手

修身0 2020-05-07 10:07:33

能够简单介绍一下使用的场景和用来解决那些业务问题

...全文

489 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

北京天很蓝 2020-06-19

打赏
举报

回复

引用楼主 e生态_修身的回复:

能够简单介绍一下使用的场景和用来解决那些业务问题

canal只用过数据库同步

修身0 2020-06-10

打赏
举报

回复

引用 2 楼 dhacker1 的回复:

canal很简单，就是用于数据库监听的，可以用于商品上下架，上架数据库字段为1，下架数据库字段为0，当你想下架时，数据库更改为0，canal监听到数据库改动后，可以操作es全文检索更改全文检索内容，这样下架后，就搜索不到商品了

非常赞

dhacker1 2020-05-07

打赏
举报

回复

canal很简单，就是用于数据库监听的，可以用于商品上下架，上架数据库字段为1，下架数据库字段为0，当你想下架时，数据库更改为0，canal监听到数据库改动后，可以操作es全文检索更改全文检索内容，这样下架后，就搜索不到商品了

修身0 2020-05-07

打赏
举报

回复

自己顶一下，知道的回复一下，哪怕是1 也可以

深入浅出Otter与Canal.pdf深入浅出Otter与Canal.pdf深入浅出Otter与Canal.pdf深入浅出Otter与Canal.pdf

阿里的开源canal通过订阅binlog可以生产mq消息，实现了数据链路的对接和输出，为我们在做业务兼容，业务迁移的过程中提供了很多便利，但是个人在工作中发现有一个问题，就是目前个版本生产的消息都没有key和tag，使得在业务链中比较难追溯到业务的消息，所以个人通过下载到源码然后进行改造代码实现了生产消息中带了key和tag key: 表名 + 主键id tag: 数据库名 + 表名该文件可以按照giteee上的canal 部署正常部署即可, https://gitee.com/yubaogu/cananl-yubaogu

本课程基于阿里巴巴 MySQL ...然后详细讲解Canal架构原理以及Canal HA工作机制，最后通过Canal单节点Server，Canal HA集群，Canal集成Kafka三个案例进行实操，从而快速、深入掌握阿里Canal技术，实现数据实时增量采集.

数据同步的终极解决方案，阿里巴巴开源的Canal框架当之无愧.docx

项目背景阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，同时为了提升用户体验，整个机房的架构为双A，两边均可写，由此诞生了otter这样一个产品。 otter第一版本可追溯到04~05年，此次外部开源的版本为第4版，开发时间从2011年7月份一直持续到现在，目前阿里巴巴B2B内部的本地/异地机房的同步需求基本全上了otte4。目前同步规模：同步数据量6亿文件同步1.5TB(2000w张图片)涉及200 个数据库实例之间的同步80 台机器的集群规模项目介绍名称：otter ['ɒtə(r)]译意：水獭，数据搬运工语言：纯java开发定位：基于数据库增量日志解析，准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统工作原理原理描述：1. 基于Canal开源产品，获取数据库增量日志数据。什么是Canal, 请点击2. 典型管理系统架构，manager(web管理) node(工作节点) a. manager运行时推送同步配置到node节点 b. node节点将同步状态反馈到manager上3. 基于zookeeper，解决分布式状态调度的，允许多node节点之间协同工作. 什么是canal?otter之前开源的一个子项目，开源链接地址：http://github.com/alibaba/canal 标签：分布式数据库数据同步阿里巴巴

67,513

社区成员

225,880

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章