kettle数据移库问题简单问题

辰星0 2012-12-17 11:56:06

[size=16px]现在有源表A表和目标表B表主键都是ID，更新删除条件也是ID
A表的数据可以通过insert/update同步到B表里，这个处理的都是A表里有B表里没有的数据
现在我想删除B表有A表里没有的垃圾数据。该怎么做？
用delete步骤的时候，删除条件应该怎么写？

...全文

96 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

辰星0 2012-12-21

打赏
举报

回复

每一个人用过么，没用过的进来讲句话也可以呀，要不我怎么结贴

辰星0 2012-12-18

打赏
举报

回复

kettle 数据移库

学完本课程，您将掌握：PDI/Kettle数仓技术PDI/Kettle开源免费的ETL推送工具PDI/Kettle数据清洗PDI/Kettle数据抽取PDI/Kettle数据挖掘PDI/Kettle案例实战PDI/Kettle技巧PDI/Kettle9.1版本PDI/Kettle通用PDI/Kettle水壶技术适合人群：需要数据清洗和操作的IT信息化相关人员，IT相关从业人员，大数据工程师，数据库工程师及DBA，数据仓库ETL学习计划：利用碎片化的时间学习即可，每天学习一小时或3个课时即可达到效果；时间充足者，自由安排课程目标：促使教育公平，打破教育壁垒，让ETL更加的大众化使用课程简介：【可视化介绍】 Kettle 是 PDI 以前的名称，PDI 的全称是Pentaho Data Integeration，Kettle 本意是水壶的意思，表达了数据流的含义。Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。【软件版本】企业用的最多的Kettle9.x/8.x/7.x，本教程以最新Kettle 9.x进行教学【授课方式】番茄教学法：以知识点为基准，进行独立课时讲解，课时之间低耦合，方便同学利用碎片化时间学习

在用kettle进行数据同步时，发现一个问题：目的数据库的数据少于源数据库的数据，丢失的数据去哪里了呢？先上图：步骤1：从源数据库抽取数据步骤2：删除目的数据库的数据步骤3：插入到目的数据库但是问题来了，这么简单的一个过程，到底是哪里出了问题呢？首先，我们需要了解kettle的运行过程，如上图，步骤1，2，3虽然是按照顺序执行的，但是是并行的！也就是

本实验任务主要完成基于ubuntu环境的使用kettle进行数据清洗的工作。通过完成本实验任务，要求学生熟练掌握使用kettle进行数据清洗的方法，为后续实验的开展奠定ETL平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。1、掌握使用kettle进行数据清洗Ubuntu16.04、Java1.8、Kettle7.1Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。 Kettle组成部分： Kettle概

kettle实现数据增量同步完善版前言前段时间有记录一次使用kettle实现数据同步的操作，内容包括kettle的安装配置job的创建translate的创建等。当时做的时候使用使用的是写死的时间点（也就是每次同步的时候都会从这个时间点开始查询数据再做对比，并完成数据的同步更新到target数据源中）。当然开始再数据量小并且使用主键ID做数据对比的情况下，数据同步的速度还是非常快的，但是随着数据的不断增加和不同的业务需求变更，有些业务我们不能使用ID来进行数据的对比，这个时候数据量特别大的情况下就

Kettle版本：3.2GA JDK版本：1.6.0_41 OS：NT 关于Kettle数据源连接方式有三种：JDBC、ODBC、JNDI、(OCI只针对Oracle DB)，但经常用到的只有两种：一种是JDBC，一种是ODBC数据库连接方式。 Kettle中对于数据源有作用域的定义，也就是说有全局数据源与局部数据源两种。 1. 首先打开Kettle UI界面，使用快

50,526

社区成员

85,605

社区内容

发帖

与我相关

我的任务

javaspring bootspring cloud 技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章