我现在想达到的目的是
目标表中没有的就添加，有的就更新，目标表中有而源表中没有的就删除
我看到merge语句可以做到，但是不知道写在哪。etl里面哪个模块可以把merge写进去呢？我都是拖拽的
多谢 多谢
-
等级
本版专家分：16结帖率 89.76% -
我现在想达到的目的是
目标表中没有的就添加，有的就更新，目标表中有而源表中没有的就删除
我看到merge语句可以做到，但是不知道写在哪。etl里面哪个模块可以把merge写进去呢？我都是拖拽的
多谢 多谢展开阅读全文
-
等级
本版专家分：116258勋章
-
- 进士 2008年 总版技术专家分年内排行榜第八
-
- 微软MVP 2010年4月 荣获微软MVP称号
-
-
黄花
2008年10月 MS-SQL Server大版内专家分月排行榜第二
2008年6月 MS-SQL Server大版内专家分月排行榜第二
-
-
蓝花
2008年4月 MS-SQL Server大版内专家分月排行榜第三
2008年3月 MS-SQL Server大版内专家分月排行榜第三
-
-
可以使用查找组件
可以参考邹建老大的blog
-
等级
本版专家分：116258勋章
-
- 进士 2008年 总版技术专家分年内排行榜第八
-
- 微软MVP 2010年4月 荣获微软MVP称号
-
-
黄花
2008年10月 MS-SQL Server大版内专家分月排行榜第二
2008年6月 MS-SQL Server大版内专家分月排行榜第二
-
-
蓝花
2008年4月 MS-SQL Server大版内专家分月排行榜第三
2008年3月 MS-SQL Server大版内专家分月排行榜第三
-
-
http://blog.csdn.net/zjcxc/article/details/1202876
-
等级
本版专家分：16
-
这个我看过了，里面有两个source一个target;我只有一个source一个target;是source 和 target之间的对比，然后更新target
觉得不会改zj的
-
等级
本版专家分：116258勋章
-
- 进士 2008年 总版技术专家分年内排行榜第八
-
- 微软MVP 2010年4月 荣获微软MVP称号
-
-
黄花
2008年10月 MS-SQL Server大版内专家分月排行榜第二
2008年6月 MS-SQL Server大版内专家分月排行榜第二
-
-
蓝花
2008年4月 MS-SQL Server大版内专家分月排行榜第三
2008年3月 MS-SQL Server大版内专家分月排行榜第三
-
-
不是也是一个源，一个目标吗？
-
等级
本版专家分：16
-
你说的对，是一个源。我看错了，它实现了有则更新，无则添加；但是没有实现target有而source无的情况下删除target
你知道这个怎么实现么？
谢谢
-
等级
本版专家分：116258勋章
-
- 进士 2008年 总版技术专家分年内排行榜第八
-
- 微软MVP 2010年4月 荣获微软MVP称号
-
-
黄花
2008年10月 MS-SQL Server大版内专家分月排行榜第二
2008年6月 MS-SQL Server大版内专家分月排行榜第二
-
-
蓝花
2008年4月 MS-SQL Server大版内专家分月排行榜第三
2008年3月 MS-SQL Server大版内专家分月排行榜第三
-
-
如果一个流做不出来，是否可用两个数据流？Source和target分别做源
-
等级
本版专家分：16
-
正在尝试，但是不太会弄。lookup 找不match的没有成功。没反应
-
等级
本版专家分：16
-
两个流搞定了，感谢msdn阿
有没有好的方法呢？merge一下子就可以了。我能不能写过一个script，其中target和source是两个可以在安装时设置的变量；然后再我的script里面直接用
坐等好办法
谢谢你的帮助
-
等级
本版专家分：0
-
挖个坟，被雅琪姐顶楼的逻辑吸引过来的，这不就完全是用source替换target吗？
sql server我不懂，不过oracle不用merge语法而写存储过程的话思路如下：
1. 将target存在source不存在数据备份（create t_backup as select * from target where not exist(select 1 from source where target.id=source.id)）;
2. 清空target
3. 合并source+备份导入target
注意备份和rollback
我不是dba，方案好不好不清楚，这么做是因为oracle中update比较耗时
-
等级
本版专家分：16
-
这样做的话会丢失一些列的值，不是所有都替换哈，比如上一次写入的时候会有个timestamp,如果删掉重来那时间咋办。
另外如果数据大的话这样时间是不是比较长？
- Kettle构建Hadoop ETL实践（八-1）：维度表技术
目录 一、增加列 1. 修改数据库模式 2. 修改Sqoop作业项 3. 修改定期装载维度表的转换 4. 修改定期装载事实表的转换 5. 测试 二、维度子集 ...4. 一种有问题的设计 ... 前面文章中，我们用K...
- Spring Cloud Data Flow 中的 ETL
来源：SpringForAll社区1 概述Spring Cloud Data Flow是一个用于构建实时数据管道和批处理过程的云原生工具包。 Spring Cloud D...
- kettle spoon判断增量更新_「技术篇」ETL工具Kettle数据对比同步以及Java程序中调用...
作为一个技术栈出身的攻城狮，虽然走上管理之路，但是技术是不能扔下的，时不时的拿起来重温一下，理论与实践相结合...使用背景：住建部某区块链共享平台...若是删除需逻辑删除、有删除标示且有删除时间等等。解决办...
- ETL: 大数据之技术核心
在这里涉及到ETL中，我们只要有一个清晰的认识，它不是想象中的简单一蹴而就，在实际的过程，你可以会遇到各种各样的问题，甚至是部门之间沟通的问题。在给它定义到占据整个数据挖掘或分析的过程中50%-70%是不足为过...
- 如何在EDUIS中导出ETL字幕模板_Apache NiFi 如何从入门到不放弃？
既然来了，就留下呗。笔者在之前的文章《物联网遇到流计算》中介绍过 Apache NiFi，虽比不上 StreamSets 华丽的外表，但是功能却很强大，在开源方面，NiFi 的企业级功能是接近完整的。在本篇文章中，笔者会带大家...
- Kettle构建Hadoop ETL实践（五）：数据抽取
1. 基于源数据的CDC 2. 基于触发器的CDC 3. 基于快照的CDC 4. 基于日志的CDC 三、使用Sqoop抽取数据 1. Sqoop简介 2. 使用Sqoop抽取数据 3. Sqoop优化 （1）调整Sqoop命令行参数 （2）调整数据库 四、小结...
- etl构建数据仓库五步法_关于ETL和数据建模
推荐阅读书目：《数据仓库工具箱 维度建模权威指南》(第3版)提取码：cvhb一、什么是ETLETL是数据抽取(Extract)、转换(Transform)、加载(Load )的简写，它是将OLTP系统中的数据经过抽取，并将不同数据源的数据进行...
- 中livechart显示大数据_大数据ETL技术中的数据抽取方法
说到大数据仓库技术，不得不提ETL，ETL一词较常用在数据仓库，但其对象并不限于数据仓库。可以说是非常重要的一个环节，简单介绍一下ETL数据抽取比对的方法。什么是ETLETL，是英文Extract-Transform-Load的缩写，...
- ETL中的关键技术
什么是ETL （Extract-transfrom-load）数据仓库技术，用来描述将数据从来源端经过抽取（extract）、交互转换（transfrom）、加载（load）到目的端的...全量抽取类似于数据迁移或数据复制，它将数据源中的表或视...
- Kettle构建Hadoop ETL实践（一）：ETL与Kettle
1. 数据仓库架构中的ETL 2. 数据抽取 （1）逻辑抽取 （2）物理抽取 （3）变化数据捕获 3. 数据转换 4. 数据装载 5. 开发ETL系统的方法 二、ETL工具 1. ETL工具的产生 2. ETL工具的功能 （1）连接 （2）...
- ETL(九)：同构关联(源限定符转换组件的使用)
一、解法一 1、同构关联和异构关联的区别 注：同构关联的表出自同一个地方，比如说两张表都来自Oracle数据库；异构关联的表出自不同地方，比如说...① 由于源表有两个，我们随便拖拉一张表到右侧灰色区域，进行目标...
- ETL的新兴趋势：超越大数据
随着大数据的持续增长，许多人开始担心提取、转换和加载（ETL）的常规过程是否依然适用。这样的担心是否多余呢？
- oracle主从表分离怎么实时更新数据_TiFlash 是另外一个 T+1 列存数据库吗？
在 上篇关于 TiFlash 的文章 发布后，我们收到了很多伙伴们的反馈，大家有各种各样的疑问，包括 TiFlash 是不是 T + 1 列存数据库？为啥实时写入也很快？读压力大怎么办？节点挂了怎么办？业务怎么接入？……今天...
- sql 两个表列包含_如何实现一个跨库连表SQL生成器？
一 概述ADC(Alibaba DChain Data Converger)项目的主要目的是做一套工具，用户在前端简单配置下指标后，就能在系统自动生成的大宽表里面查询到他所需要的实时数据，数据源支持跨库并支持多种目标介质。说得更高层次...
- ETL 数据加载机制概述
ETL 是数据抽取（Extract）、转换（Transform）、加载（Load）的简写，它的功能是从数据源抽取出所需的数据，经过数据清洗和转换，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去，是构建数据仓库最...
- expdp导出表结构_【数据泵】EXPDP导出表结构
EXPDP导出表结构(真实案例)BLOG文档结构图因工作需要现需要把一个生产库下的元数据(表定义，索引定义，函数定义，包定义，存储过程)导出到测试库上，本来以为很简单的，可是做的过程发现很多的问题，现记录如下，...
- DB2分区表删除和添加分区
1.数据库版本 2.具体procedure DROP PROCEDURE DB2USER.TOOLS_PARTITION_TABLE_SHOW (VARCHAR ());...CREATE OR REPLACE PROCEDURE Tools_partition_table_show(IN ETL_DATE VARCHAR(8)) /*****************...
- 开源ETL工具kettle系列之增量更新设计
前言ETL中增量更新是一个比较依赖与工具和设计方法的过程，Kettle中主要提供Insert / Update 步骤，Delete 步骤和Database Lookup 步骤来支持增量更新，增量更新的设计方法也是根据应用场景来选取的，虽然本文讨论的...
- 【ETL】ETL介绍与ETL工具比较
ETL介绍与ETL工具比较
- 大数据中台
尽管数据中台的文章很多，但是一千人眼里有一千个数据中台，到底什么是数据中台？数据中台包含什么? 当企业需要数据化转型、精细化运营，进而产生大规模数据应用需求的时候，就需要建设数据中台。数据中台是高质量...
- ETL介绍与ETL工具比较
本文转载自：http://blog.csdn.net/u013412535/article/details/43462537ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过萃取（extract）、转置...ETL负责将分布的、异构数据源中的数据如关...
- expdp导出表结构_【数据泵】EXPDP导出表结构(真实案例)
因工作需要现需要把一个生产库下的元数据(表定义，索引定义，函数定义，包定义，存储过程)导出到测试库上，本来以为很简单的，可是做的过程发现很多的问题，现记录如下，希望有同样需要的朋友不要再走弯路了。...
- 如何生成表_如何实现一个跨库连表SQL生成器？
简介：用户只需在前端简单配置下指标，系统即可自动生成大宽表，让用户查询到他所需要的实时数据，数据源支持跨库并支持多种目标介质。这样的数据全局实时可视化如何实现？本文从需求分析开始，分享自动生成SQL功能...
- 基于数据库数据增量同步_kettle之数据库表同步增量更新
准备工作：先创建2个表：CREATE TABLE `tt1` ( `id` int(11) NOT NULL, `name` varchar(50) DEFAULT NULL, PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8;CREATE TABLE `tt2` ( `id` int(11) NOT NULL, ....
- 数据仓库ETL算法
是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去； 2. 常用的ETL工具：主要有三大主流工具，分别是Ascential公司的...
- spoon 不同库实现表连接查询_kettle简单使用以及进行数据抽取同步
Kettle是一款国外开源的ETL工具，纯java编写，可以在...简单使用kattle进行数据合并+更新+删除+新增下载好kettle,打开spoon.bat,纯java的工具所以需要jre环境,在此不在赘述.见图1图1打开工具后,软件的欢迎页面.右...
- 从零基础开始用Python处理Excel数据.pdf
首先学习Python的基础知识，然后使用Python来控制Excel，做数据处理。 Excel使用者、Python爱好者、数据处理人员、办公人员等 第1章 python基础 1.1 什么是python？ 1.2 为什么要学习用Python处理Excel表格？ 1.3 手把手教你安装python程序 1.3.1 下载python 1.3.2 安装python 1.3.3 验证是否安装成功 1.4 安装Python集成开发工具PyCharm 1.4.1 下载 1.4.2 安装 1.5 Python的输入与输出
- 汇编语言程序设计III
汇编语言是一门低级程序设计语言，在数以千计的计算机语言中，有着不可替代的重要地位，广泛地用于开发操作系统内核、设备驱动程序等。随着近年来物联网、嵌入式系统的发展，汇编语言在行业中的地位也再次攀升，在2017年1月的TIOBE排行榜上，再次进入前十。对大多数学习计算机的人士而言，是理解计算机系统核心知识的一个桥梁，在人才培养中也起着特殊的作用。课程面向计算机初学者，介绍汇编语言程序设计基础的部分。 课程的目标是帮助学习者掌握汇编语言程序设计的基础部分。课程分7个部分，循序渐进地介绍寄存器、内存、程序结构、模块化程序设计、中断等内容，课程重视对学习方法的指导和引导，提倡和支持用实践的方式开展学习，目标是培养学习者的自学能力和实践能力，以此支持对最新的汇编语言开发技术的学习。
- jdk1.8 64位官方正式版 jdk-8u91-windows
jdk1.8 64位官方正式版 jdk-8u91-windows
- python 京东预约抢购茅台脚本插件 一键运行
python 京东预约抢购茅台脚本插件 一键运行，按照readme介绍的步骤即可。 已经测试可以抢购得到。 注意：本资源仅用于用来学习，严禁用于任何商业目的，下载之后应当在24小时之内删除。