使用ETL 我用存储过程或别的啥都可以实现其功能，为啥要用ETL啊

nihello 2009-12-24 12:20:06

使用ETL
我用存储过程或别的啥都可以实现其功能，
为啥要用ETL啊
ETL 与 SQL 的区别在那里，为啥要用ETL啊

...全文

368 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

tunxizxh 2010-01-14

打赏
举报

回复

这阵正在搞这一块，感觉在清洗一块稍复杂点，ETL的工具就不是太有用处，只是针对数据来源，也就是LOAD数据的时候方便，如果只是单一数据来源则可直接用存储过程或其它搞定

dawugui 2009-12-24

打赏
举报

回复

不懂，帮顶，学习，蹭分.

EricPan2023 2009-12-24

打赏
举报

回复

1.如果你的数据来自于不同的物理主机,而物理主机存放在不同的地区.使用自己的SQL语句就显得比较吃力和需要更大的开销.
2.若数据是不自不同的数据库软件,如有MySQL,oracl,SAP,DB2等,多套数据库的资料,如何使用SQL语句.先将它们集中到一个MS SQL server,再自己实现SQL语句.但这仍是复杂,繁琐;而且各数据库厂商之间的数据格式也是多样的。甚至它们也存放在不同的子公司里头。
3.若使用自己的存储过程,在处理海量数据时也较为吃力.

SSIS中的ETL则可以通过不同的工作流和控件流,统一的连接管理器,对多源的数据进行抽取(E),转换(T),加载(L).使得整个过程更系统化,统一.

ETL通用解决方案_oracle+存储过程实现

1. 在数据抽取阶段，我们需要连接到源系统，为了对源系统的影响尽量小，我们需要将抽取的数据保存成文本文件或者放入数据准备区的表中，这样，当ETL过程出现错误而失败时，我们就可以从这些文本文件开始ETL，而不需要再次影响源系统。这种存储数据的方式叫数据准备区。 1) 固定格式的文本文件。Flat File指的是一种保存在系统上的一种文本文件格式，它以类似数据库的表的方式用行和列来保存数据。这种文件格式经常用来进行数据交换。用于保存数据不太合适。 2) XML数据集。多用于数据交换，用户保存数据不太合适。 3) 关系数据库的表。保存数据的较理想选择。 4) 独立的数据库表。独立的数据库表一般指建立的表和其他表没有外键约束关系。这样的表多用于数据处理。 5) 三范式或者关系型模型。 6) 非关系型数据源。非关系型数据源一般包括COBOL copy books、VSAM文件、Flat文件、Spreadsheets等。 7) 维度模型。 8) 原子事实表和聚集事实表。 9) 代理键查找表。

1. 什么是ETL 2. KETTLE简介 2.1. Chef——工作(job)设计器 2.1.1. Chef中的作业项包括： 2.1.2. 工作流 2.1.3. 存储方式 2.1.4. LogView： 2.2. Kitchen——作业执行器 2.3. Spoon——转换过程设计器 2.3.1. Input-Steps：输入步骤 2.3.2. Output-Steps：输出步聚 2.3.3. Look-up：查找操作 2.3.4. Transform 转换 (嗯，重点) 2.3.5. 除了上述基本节点类型外还定义了扩展节点类型 2.3.6. 其它 2.4. Pan——转换的执行工具 2.5. 其它 2.6. 个人感觉：(本人不成熟的看法) 3. ETL 小结 4. ETL本质 4.1. ETL 特点 4.2. ETL 类型 4.3. ETL 中的转换-Transication 4.3.1. 宏观输入输出方面 4.3.2. 微观规则 4.4. ETL中数据质量 4.5. ETL数据质量保证 4.6. 关于元数据

上篇文章我们介绍了ETL的概念和ETL的整个过程。那么今天我们给大家介绍一下ETL的常用工具：DataX、Datastage、Informatica、Kettle、DataPipeline。为什么要使用ETL工具？实际生产环境中我们的数据源可能是不同的数据库或者文件，这时候需要我们先把文件整理成统一的格式再做处理这样的过程要用代码实现显然有些麻烦。但数据来自不同的物理机，如果我们用SQL语句去处理的话，就显得特别吃力，开销也会很大。使用存储过程处理海量数据会占用大量数据库资源，导致数据资源不足，影响数据库性能。对于这些问题，我们可以通过使用ETL工具去解决。部分工具支持多

ETL应用浅析

数据仓库系统先天不足，是在业务系统的基础上发展而来的，其内部存储的数据来自于

事务处理的业务系统和外部数据源。而企业内各源数据缺少统一的标准，因企业的业务系统

是在不同时期、不同背景、面对不同应用、不同开发商等各种客观前提下建立的，其数据结

构、存储平台、系统平台均存在很大的异构性。因而其数据难以转化为有用的信息，原始数

据的不一致性导致决策时其可信度的降低。

ETL 是BI/DW 的核心和灵魂，按照统一的规则集成并提高数据的价值，是负责完成数据

从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。如果说数据仓库的模型

22,210

社区成员

121,726

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章