kettle数据同步

lyz1032431554 2015-09-18 10:36:51

用了kettle这个工具做数据同步，把oracle同步到sqlserver，在最后的步骤是表输出，只插入数据。然后就放到pan.bat里运行，可是运行时发现这个数据插入完成之后，cmd窗口不会自动关闭，还会把缓存中的数据重新给我插入到sqlserver表中，造成了数据重复。（sqlserver中没有限制唯一的约束，主键是自动生成的）。
请问：如何可以让窗口自动关闭，不再重复插入数据？

...全文

101 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

tony4geek 2015-09-18

打赏
举报

回复

没用过这个，帮你顶下

kettle oracle 数据同步mysql ，先自己要把oracle和mysql jar 放到对应lib目录下，作业和转换可以直接打开查看，

kettle-core-9.1.0.0-324.jar、kettle-engine-9.1.0.0-324.jar、metastore-9.1.0.0-324.jar

使用Kettle同步mysql数据，增量同步,两个数据库数据同步

XXXKETTLE全量多表数据同步 1 一. 建立资料库 3 1.1 添加资源库 3 二. 前期准备工作 7 2.1 异结构数据传输 7 2.2 数据校验 9 三. 建立转换 10 3.1 创建‘转换’（GET—ORACLE-TABLES） 10 3.1.1 创建数据源 10 3.1.2 添加核心对象 12 3.2 创建‘转换’（INSERT—MYSQL-TABLES） 15 3.2.1 创建数据源 15 3.2.2 添加核心对象 15 3.2.3 转换设置 17 四. 建立作业 18 4.1 创建‘ORACLE TO MYSQL’作业 18 4.2 添加核心对象 18 4.3 设置GET-TABLES 19 4.4 设置INSERT-MYSQL 23 五. 实验验证 28 5.1 ORACLE插入数据 28 5.2 执行JOB 29 5.3 MYSQL数据验证 30

Kettle增量同步，里边包含项目文件可能需要你新建数据库。源数据为Oracle，目标数据库为PostgreSQL. 增量记录表.SQL 用来生成 edp_etl_record 表记录每次更新数据的执行记录过程。更新时先取出edp_etl_record 表中最新一条数据中的 data_range_to 列的值，同时取出需要更新的表中的唯一键（可以ID或时间戳）最大值，在需要抽取的数据表中加入这两个条件筛选数据，抽取数据更新完毕后更新 edp_etl_record 即可初次更新需要初始化 edp_etl_record表里面 data_range_fm、data_range_to 字段为需要抽取数据表中的 min（唯一自动或时间戳），此时表示同步全量，执行完毕后第二次开始同步增量

51,396

社区成员

85,837

社区内容

发帖

与我相关

我的任务

javaspring bootspring cloud 技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章