[问题]mysql数据同步到hadoop上

Mr-Well 2015-01-30 03:16:14
问题描述:
利用mysql数据库的触发器将数据库新增的数据同步更到hadoop中。

之前在网上自己检索,看到了一些将mysql数据导入到hadoop的工具:dump,sqoop,但他们都是对数据库的全部导出。而并非实时导出。后来看到一个Applier,但这个网上的教程由特别简单,而且目前处于测试阶段。

所以想请教一下,各位有没有什么好的解决方案,多谢多谢。
...全文
174 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
Mr-Well 2015-02-02
  • 打赏
  • 举报
回复
引用 1 楼 ACMAIN_CHM 的回复:
没什么好办法,不过可以自己写个监控软件来监控MYSQL的二进制日志,然后提取其中的语句,同步在本地执行。 或者阅读MYSQL的源代码,分析它的同步机制,自己写个TCP的监听来接收MYSQL的同步复制消息,然后更新本地的数据库。
这样子嘛,有没有更加简单点的~~
ACMAIN_CHM 2015-01-30
  • 打赏
  • 举报
回复
没什么好办法,不过可以自己写个监控软件来监控MYSQL的二进制日志,然后提取其中的语句,同步在本地执行。 或者阅读MYSQL的源代码,分析它的同步机制,自己写个TCP的监听来接收MYSQL的同步复制消息,然后更新本地的数据库。

56,677

社区成员

发帖
与我相关
我的任务
社区描述
MySQL相关内容讨论专区
社区管理员
  • MySQL
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧