从kafka同步到postgresql有什么高效方法

tiesuiliaoya 2021-08-03 23:52:14

目前公司有套需求,整体架构是oracle->kafka->postgresql准实时同步数据。oracle到kafka已经实施,使用的是goldengate,把增量消息写入kafka topic。从kafka读取消息并把增量消息还原成增删改操作应用到postgresql还没实施。想请问下高手们,有什么高效的方法,增量信息很大,每天至少有1亿增量,有没有什么 案例可以参考。求教!

...全文
463 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
faronzz 2021-08-05
  • 打赏
  • 举报
回复

可以尝试用storm或flink把kafka中的数据写入pg,效率还是不错的

zjcxc 2021-08-04
  • 打赏
  • 举报
回复
参考Kafka jdbc sink

954

社区成员

发帖
与我相关
我的任务
社区描述
PostgreSQL相关内容讨论
sql数据库数据库架构 技术论坛(原bbs)
社区管理员
  • PostgreSQL社区
  • yang_z_1
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧