社区
数据仓库
帖子详情
有兄弟作过ETL方面的不? 不管是用PowerMart或者WCC或者其他的,做过的或者正在做的来交流交流
wt13
2002-11-21 06:47:17
小弟以前没搞过大型数据库方面的东西,现在要搞数据仓库一类的东西,实在搞不懂,希望能向大家学习学习。
希望交流的给偶发mail:
JCWU@newsky.com.cn
或者给我发短消息.
谢谢!
...全文
99
21
打赏
收藏
有兄弟作过ETL方面的不? 不管是用PowerMart或者WCC或者其他的,做过的或者正在做的来交流交流
小弟以前没搞过大型数据库方面的东西,现在要搞数据仓库一类的东西,实在搞不懂,希望能向大家学习学习。 希望交流的给偶发mail: JCWU@newsky.com.cn 或者给我发短消息. 谢谢!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
21 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
scy_cd
2003-02-19
打赏
举报
回复
PowerMart是ETL工具,WCC是元数据管理工具不是ETL工具。
chinarunner
2003-02-13
打赏
举报
回复
可以参考这个ETL工具,暂时是免费的:
http://www.skycn.com/soft/10775.html
lboss_li
2003-02-13
打赏
举报
回复
呵呵,我也刚做ETL,多多交流
lboss_li@hotmail.com
Tommy Chang
2003-01-22
打赏
举报
回复
两个月了,没啥变化,讨论起来还是比较空。
:)
to flywin,我对你们自己写的工具倒是很有兴趣,可能公司没有把etl工具作为业务发展方向,所以才用的第三方工具,这种情况很常见。大家聊一下吧,cxgtommy@sina.com
ysh
2003-01-21
打赏
举报
回复
ETL用中文解释就是抽取、转换及加载的意思。
赞成ETL是极烦琐的过程,而且需要熟悉业务这一看法。
在工具方面,我觉得如果数据量是GB级,用SAS做ETL也不错,主要优点是编程很方便,学起来也简单,而且支持所有主流的数据库。更大的数据量的话,听说IBM及NCR有一些工具,但没用过。
springchild
2003-01-20
打赏
举报
回复
可是我觉得工具进行数据抽取时不是效率上很低啊
为了效率考虑,目前还使用proc来写。
然后load进去
各位对效率的问题怎么看?
genny
2003-01-17
打赏
举报
回复
什么是ETL啊?我不懂啊,可以启蒙嘛?
flywind97
2003-01-14
打赏
举报
回复
我们小组写过一个ETL工具,数据是TB级的。过程辛苦极了。功能还可以。不过就是因为只是我们写的,领导说。。。。。。
算了,还是用工具好了。FT。。。
robbinwoo
2002-12-31
打赏
举报
回复
假定ID字段是主码字段,可以通过查询在源表中不存在而在目的表中存在的记录,知道哪些是垃圾数据吧!
OWB是可以实现增量的,但我只是用小表测试过,用记录上百万级的表时,不知道效率如何,所以我都是将目的表清空了两做,反正晚上做,不影响白天的使用。
yongwc
2002-12-28
打赏
举报
回复
owb 可以实现增量抽取吗?
能否具体说说实现过程
比如,我sql server --> oracle,如果源表已经删除,但目的表还留有垃圾数据,有什么好的方法可以判断目的表的那些数据是垃圾数据呢?
lazy_lion
2002-12-27
打赏
举报
回复
WCC不是ETL工具。
robbinwoo
2002-12-27
打赏
举报
回复
我用过Oracle 9iDS中的OWB,从SQL Server->Oracle,或者从Oracle->Oracle,感觉还可以,是用图形化的操作制定ETL规则,自动生成代码。缺限是不能处理CLOB字段.
另外,在源表到目的表的处理中,对源数据一般只能根据Primary Key或Unique Key处理Insert或Update,Insert或Delete两种组合中的一种操作,无法处理Insert,Update,Delete三种操作,所以如果选Insert或Update操作模式,那么,还得另外作一个过程来处理从源表中已删除但还遗留在目的表中的垃圾数据。
性能方面,我当时用的数据库服务器由于开发阶段的机器性能有限,所以只能在晚上进行ETL操作。
三杯倒
2002-12-25
打赏
举报
回复
ETL工具DataStage,informatic不错,
要是不能实现你的需求,可以调用他的API
不过ETL工具很贵
guanhu123
2002-12-25
打赏
举报
回复
DataStage其实也一样的,没有什么特别的地方,作增量数据抽取时,也没有什么好办法,还不如触发器呢!!!,想听听大家的意见。
老子
2002-12-14
打赏
举报
回复
用ETL工具DataStage不错呀
joneyzhou
2002-12-06
打赏
举报
回复
呵呵,问我吧,不过告诉你个不幸的消息,可能要换工具了!
yuanque
2002-11-26
打赏
举报
回复
其实,抽取工具也就是省了你编程(写存储过程)的活,但是最烦的还是建立数据的抽取规则,这要对业务非常熟,对原始库表非常熟
yuanque
2002-11-26
打赏
举报
回复
烦琐,主要是要对业务非常之熟悉,如果你不了解原始库,根本没法抽。我曾经向一个MIS抽数据,那个MIS一共有2000多个表,看得头都痛,天天一个字段一个字段找,回想起来,真是后怕。。。
aloft
2002-11-26
打赏
举报
回复
ETL真的很繁琐,尤其是对于大表。
Tommy Chang
2002-11-23
打赏
举报
回复
呵呵,你是遇到实际问题了吗?etl中没啥特别的高科技概念,但是最麻烦的一个环节
:)
加载更多回复(1)
什么是
ETL
?
ETL
是
做
什么的?
ETL
,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、交互转换(transform)、加载(load)至目的端的过程。
ETL
是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,因而也称为数据仓库技术。其目的是将分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。 可以看出,
ETL
要
做
三部分工作,数据抽取、数...
什么是
ETL
?
ETL
是什么技术?
ETL
是英文Extract-Transform-Load的缩写,用来描述将数据从源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程,它能够对各种分布的、异构的源数据(如关系数据)进行抽取,按照预先设计的规则将不完整数据、重复数据以及错误数据等“脏"数据内容进行清洗,得到符合要求的“干净”数据,并加载到数据仓库中进行存储,这些“干净”数据就成为了数据分析、数据挖掘的基石。
ETL
是实现商务智能(Business Intelligence,BI)的核心。一般情况下,ET
你真的需要
ETL
工具吗?
不管是大数据领域,还是传统的基础数据领域,为了解决数据的流转问题,都需要各种类型,适应异构环境的小程序来
做
支撑,通常我们称之为
ETL
作业。 一想到
做
数据仓库项目,大家的第一反应就是去选型各种
ETL
工具。我个人觉得并不是所有的应用场景都需要
ETL
工具。之前接触过一个银行的数据仓库项目。他们是采用datastage
做
文本抽取,用oracle 存储过程
做
数据转换,还有一部分shel
什么是
ETL
,
ETL
是什么技术?
多种数据源的所有原始数据大部分未作修改就被载人
ETL
,因而,无论数据源在关系型数据库、非关系型数据库,还是在外部文件.集成后的数据都将被置于数据库的数据表或数据仓库的维度表中,以便在数据库内或数据仓库中作进一步转换(因此,一般会将最终的数据存储到数据库或者数据仓库中)。对业务就是非常熟悉,技术是服务于业务的,所以熟悉业务非常重要,我们现在实现的功能,其实就是建立在业务的基础上去
做
的,另一
方面
高级的
ETL
工程师对各项技术、系统架构都非常熟悉或者是会设计这样的架构,同时具有管理能力,可以带领团队完成项目。
ETL
是
做
什么的?
ETL
是英文Extract-Transform-Load的缩写,用来描述将数据从源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程,它能够对各种分布的、异构的源数据(如关系数据)进行抽取,按照预先设计的规则将不完整数据、重复数据以及错误数据等“脏"数据内容进行清洗,得到符合要求的“干净”数据,并加载到数据仓库中进行存储,这些“干净”数据就成为了数据分析、数据挖掘的基石。
ETL
是实现商务智能(Business Intelligence,BI)的核心。一般情况下,
ETL
数据仓库
7,388
社区成员
6,742
社区内容
发帖
与我相关
我的任务
数据仓库
其他数据库开发 数据仓库
复制链接
扫一扫
分享
社区描述
其他数据库开发 数据仓库
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章