7,388
社区成员
发帖
与我相关
我的任务
分享kettle 的数据转移
不知道应不应该发到这个区，如果有错误请帮忙转移。
我现在有两张表A和B，现在要实现A里的数据往B里实现增量转移。数据量大概在50万条左右。
条件1：B里有3个字段是A里没有的，并且不能为空，这三个字段需要用代码生成，然后插入。
条件2：A里的数据有可能每天都有添加、修改和删除，B里要实现同步。
kettle新手，看了两天的kettle文档，但是还是不知道如何下手，之前是用存储过程实现的，但是有点麻烦，所以想使用工具。
请各位帮忙给个方案，谢谢了！！！
我现在有两张表A和B，现在要实现A里的数据往B里实现增量转移。数据量大概在50万条左右。
条件1：B里有3个字段是A里没有的，并且不能为空，这三个字段需要用代码生成，然后插入。
条件2：A里的数据有可能每天都有添加、修改和删除，B里要实现同步。
kettle新手，看了两天的kettle文档，但是还是不知道如何下手，之前是用存储过程实现的，但是有点麻烦，所以想使用工具。
请各位帮忙给个方案，谢谢了！！！
...全文
请发表友善的回复…
发表回复
GG_wg 2012-03-29
- 打赏
- 举报
在表里添加一个字段做为标识符，同步、修改时改变这个状态，当状态改变时对这些数据向b表进行新增或修改
bluewind863 2012-02-15
- 打赏
- 举报
楼主针对的数据库有很多吗，如果只是纯oracle和sqlSERVER，可以考虑用数据库本身的CDC功能把要捕捉的表发布出来。
IBM有一款用于数据捕捉的通用CDC软件比较，如果有米可以考虑，呵呵
IBM有一款用于数据捕捉的通用CDC软件比较，如果有米可以考虑，呵呵
pyf_ting 2012-01-13
- 打赏
- 举报
kettle本身没有实现触发器捕捉数据变化的机制，你如果需要实现这样的效果，需要在源数据那边做数据预处理，对源数据进行增、删、改的数据捕捉，然后与存储到临时表中。数据抽取对象再转换为这个临时表，按照时间戳来进行数据过滤，需要注意时间的格式。
