世界紫草 2022-08-01 15:31:46

Flinkx同步mongodb oplog

基于当前现状，引入Flinkx同步mongodb的oplog来达到近实时同步数据一方面可以减少集群的压力; 此外Flinkx可以监听数据变化及时将数据同步到clickhouse或者kafka中方便做一些近实时的OLAP分析，以及查询。BUG修复由于社区上用flink同步mongodb oplog比较少所以会有一些bug需要修复。在这里介绍我使用过程中修复的bug。1：包路径缺少flinkx导致找不到类解决办法：增加flinkx路径，重新导包2：反序列化获取Mongodbop...
https://blog.csdn.net/zxrjohn1/article/details/109493881
43 回复 打赏 收藏 举报
写回复
回复
切换为时间正序
请发表友善的回复…
发表回复
发帖
袋鼠云开源社区

14

社区成员

73

社区内容

袋鼠云开源社区是一个为ChunJun、Taier、ChengYing、Molecule等开源项目开发者提供技术交流与知识分享的平台
大数据开源 企业社区 浙江省·杭州市
社区管理员
  • 数栈DTinsight
加入社区
帖子事件
创建了帖子
2022-08-01 15:31
社区公告

袋鼠云开源社区是一个为ChunJun、Taier、ChengYing、Molecule等开源项目开发者提供技术交流与知识分享的平台，欢迎所有的开发者一起来分享和交流经验

项目地址

代码贡献

  • ChunJun：pr

  • Taier：pr

  • ChengYing：pr

  • 注意事项：大家可以直接提交pr，提交之后会有对应的同学去review 合并，提交pr的同学更有机会加入我们共创小组~

 

更多交流渠道

公众号：数栈研习社

B站：https://space.bilibili.com/677474984

钉钉技术交流群：30537511