goldengate根据SCN号exp/imp,重启入库进程后,只同步启动后的数据

lvqi103 2014-08-25 06:12:47
最近碰到一问题,比如原始有100条数据,goldengate根据SCN号导入导出数据;导入数据后到重启入库进程之间新增了10条数据;但是启动入库进程后还是只有100条,比如启动后又进了5条,源端115条,但是目标端只有105条,就是停止入库进程到重启之间的数据没有同步进来。这是为什么?
下面是我的一些步骤:
1.入库进程增加应该复制的表(已定义好抽取,传输,入库配置文件)
2.根据scn号导出数据
select sysdate,dbms_flashback.get_system_change_number || '' from dual;
2014/8/25 10:41:53 14015877134493

exp goldgate/gg11gr2 DIRECT=y buffer=64000000 FLASHBACK_SCN=14015877134493 CONSTRAINTS=N GRANTS=N TRIGGERS=N indexes=no file=/oracle/app/oracle/ogg/new_tab2.dmp LOG=/oracle/app/oracle/ogg/new_tab2.log tables=XMDS.WZ_DJ_JYXMLWXX,XMDS.WZ_SSJZ_SHSXSM
3.把dmp文件传输到目标端
4.停止入库进程rwza
5.清除目标表数据
6.导入数据
imp azgxt/azgxt_rjk file=/expzg11g/new_tab2.dmp LOG=/oracle/app/oracle/ogg/new_tab2.log fromuser=XMDS touser=adwwz commit=y ignore=y buffer=52428800
7.根据scn重启入库进程rwza
Start replicat rwza,aftercsn 14015877134493
...全文
939 4 打赏 收藏 转发到动态 举报
写回复
用AI写文章
4 条回复
切换为时间正序
请发表友善的回复…
发表回复
lvqi103 2014-08-29
  • 打赏
  • 举报
回复
根据你说的将步骤调整,并把最后一把Start replicat rwza,aftercsn 14015877134493 改成atcsn;就可以了。因为这次的表是重新同步而不是新增的表。谢谢啦
小灰狼W 2014-08-26
  • 打赏
  • 举报
回复 1
看看ggserr和discard日志 你这里的问题很可能出现在4步骤 停止入库进程rwza不应该在此时才进行,4和5应该在2以前就完成 很可能导出过程中新增的那10条数据,在你停止rwza以前就已经在目标端应用了
lvqi103 2014-08-25
  • 打赏
  • 举报
回复
这问题困扰了很久,以前同样的做法不会这样出现这问题,数据都能同步,不知道是什么原因,求各位大侠赐教!
第1章 GoldenGate概述 5 1.1 GoldenGate技术原理 5 1.2 GoldenGate可靠的复制 8 1.3 GoldenGate支持操作系统和数据库类型 8 第2章 安装GoldenGate 9 2.1 安装GoldenGate环境 9 2.2 分别在源数据库,目标数据库安装GoldenGate 9 2.2.1 下载GoldenGate 9 2.2.2 解压 10 2.2.3 安装GoldenGate 10 2.2.4 同时在目标数据库安装GoldenGate 11 第3章 把源数据库的数据同步到目标数据库中 11 3.1 设置ORACLE_HOME,ORACLE_SID环境变量 11 3.2 在源数据库ora01上打开归档日志及其辅助日志 12 3.3 在源数据库,目标数据库创建GoldenGate GLOBALS参数文件 13 3.3.1 在源数据库创建 13 3.3.2 创建Goldengate manager服务 13 3.3.3 在目标数据库安装上面步骤创建manager 14 3.4 在源数据库,目标数据库配置mgr,启动manager进程 14 3.4.1 配置manager服务的mgr配置文件 14 3.4.2 启动mgr 15 3.4.3 同样在目标数据库配置mgr文件 15 3.5 测试把源数据数据同步到目标数据数据库上 16 3.5.1 在源数据库创建test01数据库用户 16 3.5.2 执行GoldenGate的测试脚本,创建表 16 3.5.3 插入数据脚本 17 3.5.4 在goldengate中用oracle用户登陆数据库 17 3.5.5 增加需要传输的用户表 18 3.5.6 在目标数据库创建用户及其表结构 18 3.6 用goldengate中的direct load方式导入数据到目标数据库的test02用户表上 19 3.6.1 在源数据库配置一个extract进程 eini01 19 3.6.2 在目标数据库端配置一个replicat进程 19 3.6.3 在源数据库执行初始化过程 20 3.6.4 验证目标数据库端的test02用户表数据是否和源数据库一样 20 第4章 把源数据库的修改数据同步到目标数据库中 21 4.1 在源数据库配置一个EXTRACT进程及配置其文件 21 4.1.1 配置EXTRACT文件 21 4.1.2 在GGSCI.exe增加一个EXTRACT进程 22 4.2 配置data pump 23 4.2.1 在源数据库端添加一个pump进程 23 4.2.2 在源数据库的ggsci中增加extract进程 24 4.2.3 在源数据库执行RMTTRAIL 24 4.3 启动data pump capture process 24 4.4 在目标数据库端配置change delivery 26 4.5 在目标数据库中创建goldengate专属用户及其表 26 4.6 在目标数据库配置replicat进程 27 4.6.1 在ggsci增加一个replicat进程 27 4.6.2 编辑配置replicat文件 27 4.7 启动replicat进程 28 4.8 测试检查同步结果 28 4.8.1 在源数据库执行插入数据 28 第5章 把源数据库的DDL(表结构)修改同步到目标数据库中 32 5.1 在源数据库端关闭数据库的回收站 32 5.2 编辑源数据库参数文件GLOBALS 32 5.3 在源数据库创建goldengate01用户,并创建goldengate所需要的表 33 5.4 检查源数据库上的表是否安装好 35 5.5 修改源数据库配置extract文件 35 5.6 重新启动extract进程 36 5.7 验证源数据库是否可以同步表结构到目标数据库中 36 第6章 配置源数据库、目标数据库的双向数据传输 36 6.1 关闭目标数据库回收站,打开数据库辅助日志 37 6.2 在源数据库端添加checkpoint表,实现一致性 37 6.3 在源数据库增加一个replicat进程 38 6.4 在源数据库创建一个checkpoint表 38 6.5 编辑配置replicat进程 39 6.6 在目标数据库端配置GLOBALS文件 39 6.7 在目标数据库安装goldengate用户需要的表 39 6.8 在目标数据库配置一个extract进程 40 6.9 在目标数据库端配置一个pump进程 40 6.10 在源数据库端启动replicat进程 42 6.11 在目标数据库中启动extract、replicat的进程 42 6.12 目标数据库可以把数据、表结构的修过同步到源数据库服务器上 42 第7章 备注: 44 7.1 Oracle官网的下载地址 44 7.2 GoldenGate的GLOBALS配置文件内容 44 7.3 GoldenGate的eiex01配置文件内容 44 7.4 GoldenGate的epmp01配置文件内容 44 7.5 GoldenGate的rora01配置文件内容 45 7.6 GoldenGate的eiexbb配置文件内容 45 7.7 GoldenGate的epmpbb配置文件内容 45 7.8 GoldenGate的rorabb配置文件内容 45 7.9 更改GoldenGate的复制时间点 46 7.10 查看GoldenGate命令格式 46 7.11 查看manager,extract,replicat是否运行 47 7.12 查看goldengate进程的错误 48
 第1章 goldengate概述   1.1 goldengate的历史   1.2 goldengate家族   1.3 goldengate及oracle产品战略   1.4 goldengate支持的平台以及数据库   1.5 goldengate的定位   1.6 goldengate技术架构   1.7 goldengate的复制模式   1.8 各种应用模式展示   1.9 goldengate拓扑结构   1.10 goldengate 10g/11g新特性   1.11 goldengate的优势   1.12 goldengate应用情况  第2章 windows平台oracle-oracle的单向复制   2.1 目标概述   2.2 goldengate在windows平台的安装   2.3 配置goldengate进程组   2.4 验证dml复制结果     第3章 linux平台oracle rac-oracle standalone复制   3.1 目标概述   3.2 goldengate在linux平台的安装   3.3 配置源端进程组   3.4 配置目标端进程   3.5 dml测试 第2篇 基础篇  第4章 目标端数据初始化   4.1 目标端数据库初始化同步的方法及比较   4.2 数据库自带工具初始化   4.3 oracle的rman在线初始化   4.4 goldengate initial load直接传输初始化   4.5 goldengate initial load使用文件传输初始化  第5章 为oracle数据库配置ddl同步   5.1 不支持及有限支持的ddl类型   5.2 ddl处理方法   5.3 ddl复制的配置  第6章 ibm aix平台sybase-oracle数据库复制   6.1 目标概述   6.2 goldengate for sybase在aix 5.3上的安装注意事项   6.3 使用defgen生成数据表定义文件   6.4 配置源端进程   6.5 配置目标端进程  第7章 实际应用中常见场景及案例分析   7.1 目标概述   7.2 一对多复制   7.3 多对一复制   7.4 级联复制   7.5 数据的转换   7.6 双业务中心场景  第8章 goldengate日常维护   8.1 长事务处理   8.2 源端和目标端增减复制表   8.3 数据表重新同步   8.4 给数据库打补丁   8.5 给goldengate程序打补丁 第3篇 提高篇  第9章 goldengate错误分析与处理   9.1 goldengate常见异常处理   9.2 使用reperror进行错误处理   9.3 ddlerror处理ddl复制错误   9.4 discardfile记录进程错误信息   9.5 goldengate常见错误分析   9.6 中文表/中文字段处理   9.7 logdump分析工具  第10章 goldengate的安全特性   10.1 加密trail文件   10.2 加密数据库密码   10.3 网络传输加密   10.4 使用cmdsec进行权限控制  第11章 对goldengate的监控   11.1 使用ggsci命令监控   11.2 ggserr.log日志监控   11.3 日常运维监控的自动化脚本   11.4 使用goldengate director监控   11.5 web监控界面  第12章 使用goldengate veridata进行数据校验   12.1 goldengate veridata概述   12.2 安装goldengate veridata   12.3 配置goldengate veridata的安全属性   12.4 运行goldengate veridata程序进行数据比较  第13章 goldengate性能调整与优化   13.1 目标概述   13.2 extract进程优化   13.3 pump进程组的优化   13.4 replicat进程组的优化 第4篇 资料篇  第14章 goldengate实施的相关准备工作   14.1 前期准备的注意事项   14.2 生产库的信息收集   14.3 rman初始化方案  第15章 goldengate认证操作系统及数据库矩阵

3,491

社区成员

发帖
与我相关
我的任务
社区描述
Oracle 高级技术相关讨论专区
社区管理员
  • 高级技术社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧