有兄弟作过ETL方面的不? 不管是用PowerMart或者WCC或者其他的,做过的或者正在做的来交流交流

wt13 2002-11-21 06:47:17
小弟以前没搞过大型数据库方面的东西,现在要搞数据仓库一类的东西,实在搞不懂,希望能向大家学习学习。




希望交流的给偶发mail:
JCWU@newsky.com.cn

或者给我发短消息.



谢谢!
...全文
99 21 打赏 收藏 转发到动态 举报
写回复
用AI写文章
21 条回复
切换为时间正序
请发表友善的回复…
发表回复
scy_cd 2003-02-19
  • 打赏
  • 举报
回复
PowerMart是ETL工具,WCC是元数据管理工具不是ETL工具。
chinarunner 2003-02-13
  • 打赏
  • 举报
回复
可以参考这个ETL工具,暂时是免费的:
http://www.skycn.com/soft/10775.html
lboss_li 2003-02-13
  • 打赏
  • 举报
回复
呵呵,我也刚做ETL,多多交流
lboss_li@hotmail.com
Tommy Chang 2003-01-22
  • 打赏
  • 举报
回复
两个月了,没啥变化,讨论起来还是比较空。

:)

to flywin,我对你们自己写的工具倒是很有兴趣,可能公司没有把etl工具作为业务发展方向,所以才用的第三方工具,这种情况很常见。大家聊一下吧,cxgtommy@sina.com
ysh 2003-01-21
  • 打赏
  • 举报
回复
ETL用中文解释就是抽取、转换及加载的意思。
赞成ETL是极烦琐的过程,而且需要熟悉业务这一看法。
在工具方面,我觉得如果数据量是GB级,用SAS做ETL也不错,主要优点是编程很方便,学起来也简单,而且支持所有主流的数据库。更大的数据量的话,听说IBM及NCR有一些工具,但没用过。
springchild 2003-01-20
  • 打赏
  • 举报
回复
可是我觉得工具进行数据抽取时不是效率上很低啊
为了效率考虑,目前还使用proc来写。
然后load进去
各位对效率的问题怎么看?
genny 2003-01-17
  • 打赏
  • 举报
回复
什么是ETL啊?我不懂啊,可以启蒙嘛?
flywind97 2003-01-14
  • 打赏
  • 举报
回复
我们小组写过一个ETL工具,数据是TB级的。过程辛苦极了。功能还可以。不过就是因为只是我们写的,领导说。。。。。。
算了,还是用工具好了。FT。。。
robbinwoo 2002-12-31
  • 打赏
  • 举报
回复
假定ID字段是主码字段,可以通过查询在源表中不存在而在目的表中存在的记录,知道哪些是垃圾数据吧!

OWB是可以实现增量的,但我只是用小表测试过,用记录上百万级的表时,不知道效率如何,所以我都是将目的表清空了两做,反正晚上做,不影响白天的使用。
yongwc 2002-12-28
  • 打赏
  • 举报
回复
owb 可以实现增量抽取吗?
能否具体说说实现过程
比如,我sql server --> oracle,如果源表已经删除,但目的表还留有垃圾数据,有什么好的方法可以判断目的表的那些数据是垃圾数据呢?
lazy_lion 2002-12-27
  • 打赏
  • 举报
回复
WCC不是ETL工具。
robbinwoo 2002-12-27
  • 打赏
  • 举报
回复
我用过Oracle 9iDS中的OWB,从SQL Server->Oracle,或者从Oracle->Oracle,感觉还可以,是用图形化的操作制定ETL规则,自动生成代码。缺限是不能处理CLOB字段.

另外,在源表到目的表的处理中,对源数据一般只能根据Primary Key或Unique Key处理Insert或Update,Insert或Delete两种组合中的一种操作,无法处理Insert,Update,Delete三种操作,所以如果选Insert或Update操作模式,那么,还得另外作一个过程来处理从源表中已删除但还遗留在目的表中的垃圾数据。


性能方面,我当时用的数据库服务器由于开发阶段的机器性能有限,所以只能在晚上进行ETL操作。

三杯倒 2002-12-25
  • 打赏
  • 举报
回复
ETL工具DataStage,informatic不错,
要是不能实现你的需求,可以调用他的API
不过ETL工具很贵
guanhu123 2002-12-25
  • 打赏
  • 举报
回复
DataStage其实也一样的,没有什么特别的地方,作增量数据抽取时,也没有什么好办法,还不如触发器呢!!!,想听听大家的意见。
老子 2002-12-14
  • 打赏
  • 举报
回复
用ETL工具DataStage不错呀
joneyzhou 2002-12-06
  • 打赏
  • 举报
回复
呵呵,问我吧,不过告诉你个不幸的消息,可能要换工具了!
yuanque 2002-11-26
  • 打赏
  • 举报
回复
其实,抽取工具也就是省了你编程(写存储过程)的活,但是最烦的还是建立数据的抽取规则,这要对业务非常熟,对原始库表非常熟
yuanque 2002-11-26
  • 打赏
  • 举报
回复
烦琐,主要是要对业务非常之熟悉,如果你不了解原始库,根本没法抽。我曾经向一个MIS抽数据,那个MIS一共有2000多个表,看得头都痛,天天一个字段一个字段找,回想起来,真是后怕。。。
aloft 2002-11-26
  • 打赏
  • 举报
回复
ETL真的很繁琐,尤其是对于大表。
Tommy Chang 2002-11-23
  • 打赏
  • 举报
回复
呵呵,你是遇到实际问题了吗?etl中没啥特别的高科技概念,但是最麻烦的一个环节

:)
加载更多回复(1)

7,388

社区成员

发帖
与我相关
我的任务
社区描述
其他数据库开发 数据仓库
社区管理员
  • 数据仓库
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧