ODI如何批量同步数据

搞不懂的代码 2018-05-29 11:18:11

刚刚接触ODI，目前实现了通过创建一个接口实现oracle两个单表的同步功能。目标了解到的是ODI的一个接口只能对应一张目标表，如果要同步一百张表，那就要创建一百个接口，而且每个接口都要手动拖拽到映射标签里去，这样显然不合理很低效，实际需求中往往有成百上千张表需要同步，ODI作为一个强大的ETL工具应该有更加简便的批量处理方式。但目前搜到的ODI教程里都没有看到如何批量处理的方式，请问哪位数据ODI的朋友可以帮忙指点一下，不胜感激！！！

...全文

1367 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

搞不懂的代码 2018-05-30

打赏
举报

回复

想只用ODI来实现ETL

学海无涯-回头是岸 2018-05-30

打赏
举报

回复

配置ogg嘛挺好

Oracle Data Integrator（ODI）是一种全面集成的数据集成平台，用于实现高效的数据集成、数据转换和数据迁移。ODI提供了一个强大的图形化用户界面，使用户可以轻松地定义和管理复杂的数据集成流程。ODI的主要特点包括：强大的数据转换引擎：ODI提供了一套强大的数据转换引擎，可以在不同的数据源之间进行数据转换和数据集成。它支持多种数据源，包括关系型数据库、文件、Web服务等。灵活的数据集成流程：ODI允许用户以图形化方式定义和管理数据集成流程。

一、背景
在使用ODI进行数据抽取时，经常会遇到没有主键的表，比如Oracle EBS中的MTL_TRANSACTION_LOT_NUMBERS。还有一些表如HR模块的，虽然存在唯一索引，但是一般都是通过ID与EFFECTIVE_START_DATE、EFFECTIVE_END_DATE组成复合唯一索引，然而EFFECTIVE_START_DATE、EFFECTIVE_END_DATE实际上发生变化，所以无法当成主键来处理，因为ODI的日志功能与增量刷新方式都必须要求主键不发生变化。下

2. ODI使用ELT方式在数据整合过程中，它自己本身不执行数据整合的处理，所有的执行都是在现有的信息系统或者数据库中完成，不能出库。ODI本身并没有针对非结构化和半结构化数据转换为结构化或XML格式的功能, 只能通过编写Java程序，将Excel，PDF，Word转换为txt文档。如果数据量非常大，一旦遇到输出为文件，异构数据库间的数据整合，那么，ODI的性能就会受到影响。产品化的工具通常会提供丰富的，最优性能的内置功能，尽可能少的减少额外程序的编写。对产品工具必备刚性需求，工具价值本该在此。

现在，复杂的“可热插拔”系统和面向服务的体系结构 (SOA) 得到了广泛应用，这使得将数据合理地整合在一起的难度日益增加。尽管您的主要应用程序数据库在 Oracle 数据库上运行，但是可能还有其他较小的系统在其他供应商提供的数据库和平台上运行。您的应用程序本身可以通过 Web 服务之类的技术进行交互，应用程序和数据可以远程托管，也可以由您在企业数据中心内进行管理。 Oracle Data I

在这里分析下最近分析和解决ODI性能问题的点滴，用作参考。在介入该问题前，已经具备的基础知识包括了ODI基础，SOA理论和实施，特别是04年封闭四天的informatic ETL培训和实操。几年的开发经验和技术积累。首先我们拿到的问题是ODI性能慢，要知道ODI本身核心还是是ETL，只是ODI已经由传统的ETL转化为了ELT，先Lo...

17,089

社区成员

55,237

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章