GaussDB(for opengauss)中的档案数据到redis,相关方案

zuoyoumami 2022-09-22 19:48:21

数据复制服务支持多种数据源之间的数据流通,实时迁移、备份迁移、实时同步、数据订阅和实时灾备对不同数据库的支持情况如下所示。

实时迁移

实时迁移适用于跨云平台、云下数据库迁移上云或云上跨区域等多种业务场景的全部数据库对象迁移,其支持的数据库、版本和迁移类型如表1所示,更多实时迁移的功能特性可参考。

其中,自建数据库(例如MySQL、MongoDB等)包含本地自建数据库和ECS自建数据库,RDS for MySQL指华为云云数据库RDS上的MySQL数据库。

说明:

  • 目前部分功能仅支持白名单用户使用,需要提交工单申请才能使用。您可以在管理控制台右上角,选择“工单 > 新建工单”,完成工单提交。
  • 不支持从高版本迁移到低版本。

表1 数据库信息

源数据库引擎

源数据库类型和版本

目标数据库类型和版本

迁移类型

MySQL

自建或其他云上MySQL

5.5、5.6、5.7、8.0版本

RDS for MySQL

所有版本

全量数据迁移

全量+增量数据迁移

DDM

关联RDS同源库版本

全量数据迁移

全量+增量数据迁移

GaussDB(for MySQL)主备版

兼容MySQL 8.0版本

全量数据迁移

全量+增量数据迁移

RDS for MySQL

所有版本

RDS for MySQL

所有版本

全量数据迁移

全量+增量数据迁移

自建或其他云上MySQL

5.6、5.7、8.0版本

全量数据迁移

全量+增量数据迁移

DDM

关联RDS同源库版本

全量数据迁移

全量+增量数据迁移

GaussDB(for MySQL)主备版

兼容MySQL 8.0版本

全量数据迁移

全量+增量数据迁移

MongoDB

  • 自建MongoDB

    3.2、3.4、4.0版本

  • 其他云上MongoDB

    3.2、3.4、4.0版本

  • DDS

    3.4、4.0版本

说明:
  • 源数据库不支持GaussDB(for Mongo)。
  • 源数据库不支持腾讯云3.2版本的MongoDB。

DDS

3.4、4.0、4.2版本

全量数据迁移

全量+增量数据迁移支持以下方式:

  • 副本集到副本集
  • 副本集到集群
  • 集群到集群
说明:
  • 当源数据库为DDS集群实例时,目前仅在同VPC场景下支持增量迁移。
  • 单节点类型实例的全量+增量迁移目前仅支持源库为华为云单节点实例。
  • 自建MongoDB

    3.2、3.4、4.0版本

  • 其他云上MongoDB

    3.2、3.4、4.0版本

  • DDS

    3.4、4.0版本

说明:
  • 源数据库不支持GaussDB(for Mongo)。
  • 源数据库不支持腾讯云3.2版本的MongoDB。

GaussDB(for Mongo)

3.4、4.0版本

说明:

目前仅支持白名单用户使用。

全量数据迁移

全量+增量数据迁移支持以下方式:

  • 副本集到副本集
  • 副本集到集群
  • 集群到集群说明:

    源库为DDS集群时,只支持全量迁移。

DDS

DDS

3.2、3.4、4.0版本

自建MongoDB

3.2、3.4、4.0版本

全量数据迁移

全量+增量数据迁移支持以下方式:

  • 副本集到单节点
  • 副本集到副本集
  • 副本集到集群
  • 单节点到单节点
  • 单节点到副本集
  • 单节点到集群

其他云上MongoDB

3.2、3.4、4.0版本

全量数据迁移

全量+增量数据迁移支持以下方式:

  • 副本集到单节点
  • 副本集到副本集
  • 副本集到集群
  • 单节点到单节点
  • 单节点到副本集
  • 单节点到集群

MySQL分库分表

  • 自建MyCAT中间件
  • DDM

DDM

全量数据迁移

全量+增量数据迁移

Redis

  • 自建开源单机Redis

    2.8.x、3.0.x、3.2.x、4.0.x、5.0.x

GaussDB(for Redis)

说明:

目前仅支持白名单用户使用。

全量数据迁移

全量+增量数据迁移

备份迁移

备份迁移通过将源数据库的数据导出成备份文件,并上传至对象存储服务,然后恢复到目标数据库。备份迁移可以帮助您在云服务不触碰源数据库的情况下,实现数据迁移。其支持的数据库、版本和迁移类型如表所示,更多备份迁移的功能特性可参考备份迁移。

说明:

  • 不支持从高版本迁移到低版本。

表2 数据库信息

备份文件版本

目标数据库版本

迁移方式

备份文件来源

本地及其他云Microsoft SQL Server数据库备份文件版本:

  • Microsoft SQL Server 2000
  • Microsoft SQL Server 2005
  • Microsoft SQL Server 2008
  • Microsoft SQL Server 2012
  • Microsoft SQL Server 2014
  • Microsoft SQL Server 2016
  • Microsoft SQL Server 2017
  • Microsoft SQL Server 2019

RDS for Microsoft SQL Server

  • Microsoft SQL Server 2008
  • Microsoft SQL Server 2012
  • Microsoft SQL Server 2014
  • Microsoft SQL Server 2016
  • Microsoft SQL Server 2017
  • Microsoft SQL Server 2019

全量迁移

增量迁移

OBS自建桶

RDS全量备份

RDS for Microsoft SQL Server全量备份文件版本:

  • Microsoft SQL Server 2008
  • Microsoft SQL Server 2012
  • Microsoft SQL Server 2014
  • Microsoft SQL Server 2016
  • Microsoft SQL Server 2017
  • Microsoft SQL Server 2019

全量迁移

增量迁移

OBS自建桶

RDS全量备份

实时同步

实时同步是在不同系统之间,将数据通过同步技术从一个数据源拷贝到其他数据库,并保持一致,实现关键业务的数据实时流动。其支持的数据库、版本和同步模式如表所示,更多实时同步的功能特性可参考实时同步。

其中,自建数据库(例如MySQL、Oracle、PostgreSQL等)包含本地自建数据库和ECS自建数据库,RDS for MySQL指华为云云数据库RDS上的MySQL数据库。

说明:

  • 目前部分功能仅支持白名单用户使用,需要提交工单申请才能使用。您可以在管理控制台右上角,选择“工单 > 新建工单”,完成工单提交。
  • 不支持从高版本迁移到低版本。

表3 数据库信息

源数据库引擎

源数据库类型版本

目标数据库类型版本

同步模式

MySQL

自建或其他云MySQL

5.5、5.6、5.7、8.0版本

RDS for MySQL

所有版本

增量数据同步

全量+增量数据同步

GaussDB(for MySQL)主备版

8.0版本

增量数据同步

全量+增量数据同步

说明:

目前增量同步仅支持白名单用户使用。

RDS for PostgreSQL

9.5、9.6、10、11版本

全量数据同步

全量+增量数据同步

GaussDB(for openGauss)分布式版

1.0.0及以上

全量+增量数据同步

GaussDB(for openGauss)主备版

1.0.0及以上

说明:

目前仅支持白名单用户使用。

全量+增量数据同步

GaussDB(DWS)

8.1.3版本

增量数据同步

全量数据同步

全量+增量数据同步

说明:

目前增量同步仅支持白名单用户使用。

Kafka

0.11及以上版本

增量数据同步

CSS/ES

ElasticSearch 5.5、6.2、6.5、7.1、7.6、7.9版本

全量+增量数据同步

RDS for MySQL

所有版本

RDS for MySQL

所有版本

增量数据同步

全量+增量数据同步

自建或其他云上MySQL

5.6、5.7、8.0版本

增量数据同步

全量+增量数据同步

GaussDB(for MySQL)主备版

8.0版本

增量数据同步

全量+增量数据同步

说明:

目前增量同步仅支持白名单用户使用。

RDS for PostgreSQL

9.5、9.6、10、11版本

全量数据同步

全量+增量数据同步

GaussDB(for openGauss)分布式版

1.0.0及以上

全量+增量数据同步

GaussDB(for openGauss)主备版

1.0.0及以上

说明:

目前仅支持白名单用户使用。

全量+增量数据同步

GaussDB(DWS)

8.1.3版本

增量数据同步

全量数据同步

全量+增量数据同步

说明:

目前增量同步仅支持白名单用户使用。

Kafka

0.11及以上版本

增量数据同步

CSS/ES

ElasticSearch 5.5、6.2、6.5、7.1、7.6、7.9版本

全量+增量数据同步

自建Oracle

10g、11g、12c、18c、19c版本

全量+增量数据同步

PostgreSQL

  • 自建PostgreSQL

    9.4,9.5、9.6、10、11、12、13版本

  • RDS for PostgreSQL

    9.5、9.6、10、11、12、13版本

  • 其他云上PostgreSQL

    9.4,9.5、9.6、10、11、12、13版本

RDS for PostgreSQL

9.5、9.6、10、11、12、13版本

增量数据同步

全量数据同步

全量+增量数据同步

说明:

目前增量同步仅支持白名单用户使用。

GaussDB(DWS)

全量+增量数据同步

GaussDB(for openGauss)主备版

全量数据同步

全量+增量数据同步

GaussDB(for openGauss)分布式版

全量数据同步

全量+增量数据同步

Kafka

0.11及以上版本

增量数据同步

DDM

DDM

RDS for MySQL

5.6、5.7

全量+增量数据同步

自建或其他云上MySQL

5.6、5.7

全量+增量数据同步

DDM

全量+增量数据同步

GaussDB(DWS)

全量+增量数据同步

自建Oracle

10g、11g、12c、18c、19c版本

全量+增量数据同步

Kafka

0.11及以上版本

增量数据同步

Oracle

Oracle

10g、11g、12c、18c、19c版本

 

RDS for MySQL

所有版本

全量数据同步

全量+增量数据同步

GaussDB(for MySQL)主备版

8.0版本

全量数据同步

全量+增量数据同步

RDS for PostgreSQL

9.5、9.6、10、11、12版本

全量数据同步

全量+增量数据同步

GaussDB(for openGauss)主备版

1.0.0及以上

说明:

目前仅支持白名单用户使用。

增量数据同步

全量数据同步

全量+增量数据同步

GaussDB(for openGauss)分布式版

1.0.0及以上

增量数据同步

全量数据同步

全量+增量数据同步

DDM

全量数据同步

全量+增量数据同步

GaussDB(DWS)

全量数据同步

全量+增量数据同步

Kafka

0.11及以上版本

增量数据同步

GaussDB(for openGauss)分布式版

GaussDB(for openGauss)分布式版

1.1.0及以上版本

RDS for MySQL

5.6、5.7

增量数据同步

自建或其他云MySQL

5.5、5.6、5.7

增量数据同步

自建Oracle

11g、19c

全量数据同步

增量数据同步

全量+增量数据同步

GaussDB(DWS)

全量数据同步

增量数据同步

全量+增量数据同步

说明:

目前全量+增量同步仅支持白名单用户使用。

Kafka

0.11及以上版本

增量数据同步

GaussDB(for openGauss)分布式版

1.1.0及以上版本

全量数据同步

增量数据同步

全量+增量数据同步

GaussDB(for openGauss)主备版

1.1.0及以上版本

说明:

目前仅支持白名单用户使用。

全量数据同步

增量数据同步

全量+增量数据同步

GaussDB(for openGauss)主备版

GaussDB(for openGauss)主备版

1.3及以上版本

RDS for MySQL

5.6、5.7

说明:

目前仅支持白名单用户使用。

全量数据同步

增量数据同步

全量+增量数据同步

自建或其他云MySQL

5.5、5.6、5.7

说明:

目前仅支持白名单用户使用。

全量数据同步

增量数据同步

全量+增量数据同步

Oracle

全量数据同步

增量数据同步

全量+增量数据同步

Kafka

0.11及以上版本

增量数据同步

GaussDB(DWS)

说明:

目前仅支持白名单用户使用。

全量数据同步

增量数据同步

全量+增量数据同步

GaussDB(for openGauss)分布式版

1.1.0及以上版本

全量数据同步

增量数据同步

全量+增量数据同步

GaussDB(for openGauss)主备版

1.1.0及以上版本

全量数据同步

增量数据同步

全量+增量数据同步

GaussDB(for MySQL)主备版

GaussDB(for MySQL)主备版

8.0版本

RDS for MySQL

8.0版本

增量数据同步

全量+增量数据同步

自建或其他云上MySQL

8.0版本

增量数据同步

全量+增量数据同步

GaussDB(DWS)

全量+增量数据同步

Kafka

0.11及以上版本

增量数据同步

CSS/ES

ElasticSearch 5.5、6.2、6.5、7.1、7.6、7.9版本

全量+增量数据同步

自建Oracle

10g、11g、12c、18c、19c版本

全量+增量数据同步

MongoDB

  • 自建MongoDB

    3.2、3.4、4.0版本

  • 其他云上MongoDB

    3.2、3.4、4.0版本

  • DDS

    3.4、4.0版本

    说明:

    源数据库不支持GaussDB(for Mongo)。

DDS

3.4、4.0、4.2版本

说明:
  • 目前仅支持白名单用户使用。
  • 目前仅入云场景支持目标库为DDS 4.2版本。

全量+增量数据迁移支持以下方式:

  • 副本集到副本集

DDS

DDS

3.2、3.4、4.0版本

自建MongoDB

3.2、3.4、4.0版本

增量数据同步支持以下方式:

副本集到副本集

集群到集群(源数据库集群版本不小于4.0)

其他云上MongoDB

3.2、3.4、4.0版本

增量数据同步支持以下方式:

副本集到副本集

集群到集群(源数据库集群版本不小于4.0)

DB2

 

DB2 for LUW

9.7、10.1、10.5、11.1、11.5版本

 

GaussDB(for openGauss)分布式版

1.1.0及以上版本

说明:

目前仅支持白名单用户使用。

全量数据同步

全量+增量数据同步

GaussDB(for openGauss)主备版

1.1.0及以上版本

说明:

目前仅支持白名单用户使用。

全量数据同步

全量+增量数据同步

GaussDB(DWS)

全量数据同步

全量+增量数据同步

TiDB

TiDB

4.0.0及以上版本(不包括dev版本)

GaussDB(for MySQL)主备版

8.0版本

说明:

目前仅支持白名单用户使用。

全量+增量数据同步

Microsoft SQL Server

Microsoft SQL Server

企业版2012及以上版本

标准版2016 SP1及以上版本

GaussDB(DWS)

说明:

目前仅支持白名单用户使用。

全量+增量数据同步

数据订阅

数据订阅是获取数据库中关键业务的数据变化信息,并将其缓存并提供统一的SDK接口,方便下游业务订阅、获取、并消费,其支持的数据库和订阅的数据类型如表4所示,更多数据订阅的功能特性可参考数据订阅。

表4 数据库信息

数据库引擎

支持订阅的数据类型

RDS for MySQL

5.6、5.7版本

  • 数据更新
  • 结构更新

实时灾备

为了解决地区故障导致的业务不可用,数据复制服务推出灾备场景,为用户业务连续性提供数据库的同步保障。实时灾备支持的数据库和版本如表所示,更多实时灾备的功能特性可参考实时灾备。

其中,自建数据库(例如MySQL)包含本地自建数据库和ECS自建数据库,RDS for MySQL指华为云云数据库RDS上的MySQL数据库。

说明:

  • 目前部分功能仅支持白名单用户使用,需要提交工单申请才能使用。您可以在管理控制台右上角,选择“工单 > 新建工单”,完成工单提交。
  • 不支持从高版本迁移到低版本。

表5 数据库信息

业务数据库引擎

业务数据库类型版本

灾备数据库类型版本

MySQL

自建或其他云MySQL

5.6、5.7、8.0版本

RDS for MySQL

所有版本

GaussDB(for MySQL)主备版

8.0版本

RDS for MySQL

所有版本

RDS for MySQL

所有版本

自建或其他云MySQL

5.6、5.7、8.0版本

GaussDB(for MySQL)主备版

8.0版本

DDM

DDM

DDM

GaussDB(for MySQL)主备版

GaussDB(for MySQL)主备版

8.0版本

GaussDB(for MySQL)主备版

8.0版本

...全文
78 回复 打赏 收藏 举报
写回复
回复
切换为时间正序
请发表友善的回复…
发表回复
相关推荐
发帖
Gauss松鼠会

2.7w+

社区成员

汇集数据库的爱好者和关注者,大家共同学习、探索、分享数据库前沿知识和技术,像松鼠一样剥开科学的坚果;交流Gauss及其他数据库的使用心得和经验,互助解决问题,共建数据库技术交流圈。
数据库数据仓库 企业社区 北京·海淀区
社区管理员
  • Gauss松鼠会
加入社区
帖子事件
创建了帖子
2022-09-22 19:48
社区公告

欢迎大家同时关注Gauss松鼠会专家酷哥。

https://www.zhihu.com/people/ku-ge-78-98