目前公司有套需求,整体架构是oracle->kafka->postgresql准实时同步数据。oracle到kafka已经实施,使用的是goldengate,把增量消息写入kafka topic。从kafka读取消息并把增量消息还原成增删改操作应用到postgresql还没实施。想请问下高手们,有什么高效的方法,增量信息很大,每天至少有1亿增量,有没有什么 案例可以参考。求教!
可以尝试用storm或flink把kafka中的数据写入pg,效率还是不错的
954
社区成员
1,459
社区内容
加载中
试试用AI创作助手写篇文章吧