多语言版本数据同步架构思路~~~~~~~~~~~~~~~~~求思路

2018-01-06 09:14:37 610 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

流式数据同步：一种PostgreSQL到ClickHouse的高效数据同步方案利用PG的COPY命令可以快速导出大量数据PG的JDBC驱动中，PGCopyInputStream类可以用于读取COPY命令输出到标准输出的数据CK的JDBC驱动是基于CK的Client API实现的，可通过Statement的unwrap()方法获取ClickHouseRequest可以使用CK的Client API实现将CSV/TSV等格式数据导入CK的功能CK的Client API可以接受一个CSV/TSV等格式数据的输入流，并将这些数据写到CK指定表中。阅读详情

场景：有20+个网站，每个网站部署服务器不在一个国家，每个网站有单独的数据库，有可能这20个数据库不能互相访问，有部分能互相访问（网络通），有一台中转服务器保证与其他服务器互通。

需求：20+个服务器中任意一台服务器录入数据实时同步到其他服务器上。

设想解决方案：在中转服务器上部署一个MQ队列服务器，任意服务器只要对数据操作时，同时把数据发送到MQ，在通过MQ 中转到其他服务器

有没大神有这块的经验，求解决方案

...全文

企业管理中用户数据同步机制解决思路企业管理中面对多系统用户数据应该采用什么同步策略呢？阅读详情

zhulong1111

.NET社区 62,271 成员 668,968 内容

+ 关注 + 加入社区

切换为时间正序

正怒月神版主 2018-01-09

打赏
举报

引用 13 楼 zhulong1111 的回复:

这个还要调用翻译接口做数据翻译

既然要调用翻译接口。那就没太好的办法了。开接口同步吧。

zhulong1111 2018-01-09

打赏
举报

引用 12 楼 thiefx 的回复:

现成轮子，Oracle GoldenGate

用的RDS mysql。现在没法换数据库。

zhulong1111 2018-01-09

打赏
举报

引用 11 楼 hanjun0612 的回复:

引用 10 楼 zhulong1111 的回复:
[quote=引用 9 楼 hanjun0612 的回复:] http://blog.csdn.net/zhanlurbh/article/details/40453889
事物肯定不行，不能保证所有数据库直接网络互通！

没让你每个数据库直接网络互通啊。。。其实对于你的说法，那就是多主备份。每台服务器都是主服务器，产生更新立马发给中转服务器。中转服务器也是主服务器，他一产生更新立马通知其他服务器。我之前做Mysql多主备份，也是和你一个概念。一个Master 多个 slave。 master就相当于你的中专服务器，slave就是其他服务器。概念是一样的。[/quote]这个还要调用翻译接口做数据翻译

thiefx 2018-01-09

打赏
举报

现成轮子，Oracle GoldenGate

正怒月神版主 2018-01-09

打赏
举报

引用 10 楼 zhulong1111 的回复:

引用 9 楼 hanjun0612 的回复:
http://blog.csdn.net/zhanlurbh/article/details/40453889
事物肯定不行，不能保证所有数据库直接网络互通！

zhulong1111 2018-01-09

打赏
举报

引用 9 楼 hanjun0612 的回复:

http://blog.csdn.net/zhanlurbh/article/details/40453889

事物肯定不行，不能保证所有数据库直接网络互通！

zhulong1111 2018-01-09

打赏
举报

引用 7 楼 hanjun0612 的回复:

[quote=引用 6 楼 zhulong1111 的回复:] [quote=引用 5 楼 hanjun0612 的回复:] 不过我没试过横跨20个国家的同步方案。都不能确定数据库版本，结构是否一样。

数据库结构一样，版本一样。但是有可能数据库直接不能互相通讯需要中转[/quote] 中转服务器可以和其他数据库通讯就好了[/quote]大神有没大概的框架思路，我想找几种方案对比下，考虑全面点，不然后期维护升级就非常麻烦了

正怒月神版主 2018-01-09

打赏
举报

http://blog.csdn.net/zhanlurbh/article/details/40453889

正怒月神版主 2018-01-09

打赏
举报

引用 6 楼 zhulong1111 的回复:

[quote=引用 5 楼 hanjun0612 的回复:] 不过我没试过横跨20个国家的同步方案。都不能确定数据库版本，结构是否一样。

数据库结构一样，版本一样。但是有可能数据库直接不能互相通讯需要中转[/quote] 中转服务器可以和其他数据库通讯就好了

zhulong1111 2018-01-09

打赏
举报

引用 5 楼 hanjun0612 的回复:

不过我没试过横跨20个国家的同步方案。都不能确定数据库版本，结构是否一样。

数据库结构一样，版本一样。但是有可能数据库直接不能互相通讯需要中转

正怒月神版主 2018-01-09

打赏
举报

不过我没试过横跨20个国家的同步方案。都不能确定数据库版本，结构是否一样。

正怒月神版主 2018-01-09

打赏
举报

看起来是个数据同步问题。数据库就可以直接做数据订阅发布。不过你也可以选择接口同步

zhulong1111 2018-01-09

打赏
举报

有没哪位大神有过相关经验？整体解决方案

icblover 2018-01-06

打赏
举报

中转服务器可布置MQ或者Redis之类的缓存管理

zhulong1111 2018-01-06

打赏
举报

有没大牛搞过这块的

多语言版本数据同步架构思路~~~~~~~~~~~~~~~~~求思路

相关推荐