社区
数据仓库
帖子详情
我是DW的新手,ETl要採用什麼方法
山尖美色
2003-03-23 03:50:55
我的ODS是採用CNR 服務器,而data warehouse的database 採用DB2,大家說說要採用那種辦法!!
...全文
28
回复
打赏
收藏
我是DW的新手,ETl要採用什麼方法
我的ODS是採用CNR 服務器,而data warehouse的database 採用DB2,大家說說要採用那種辦法!!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
ETL
DataStage实现
自开始知道数据库,就知道有数据仓库这个东西,数据仓库中一关键环节就是
ETL
。可是三四年过去了,由于没有接触数据仓库这个东西,对
ETL
自然是一知半解,更别提实现了。从2007年9月份开始,要做数据仓库项目了,接触了
ETL
。
ETL
中要用DS实现,项目中没有人会,组长要我一个月内,边工作边自学DS,然后给大家讲怎么用DS实现
ETL
。想起初学时的困难和迷惑,和现在一些同学的疑问,本人从开发的角度,简单介绍一下用DS实现
ETL
。由于本人的知识和经验的局限,自然有很多错误和不足,希望大家指正,共同进步,给初进入者一个参
数据仓库系列7-
ETL
子系统与技术
一. 需求综合
ETL
系统结构的建立始于处理一个最棘手的问题:需求综合 。需求综合的含义是收集 并理解所有己知的将会影响
ETL
系统的需求 、现实和约束等 。需求的列表可能会很长 ,但 在开始
ETL
系统开发前应该都已经收集到了表中 。
ETL
需求是必须面对的主要约束且必须要与系统适应 。在此需求框架下,可以指定相 关决策 、做出判断和开展创新工作 ,但是需求描述了
ETL
系统必须发布的核心元素 。 在开始
ETL
设计和开发工作前 ,应当提供针对以下所有10个需求的应答 。我们为每
大数据-案例-离线数仓-电商:【MySQL(业务)-
ETL
(Kettle)】+【前端JS埋点->日志->Flume->HDFS->
ETL
(SparkRDD)】->Hive数仓->MySQL->可视化
大数据-BI案例(二)-电商:数据仓库+OLAP【MySQL-
ETL
(Kettle)-> Hive(ODS层-数据清洗->
DW
层(
DW
D-统计分析->
DW
S))-导出结果->MySQL】-> 可视化
数据分析
新手
必看:这些概念一定要记住!
什么是商业智能BI:Business Intelegence,商业智能,基于数据仓库,经过数据挖掘后,得到了商业价值的过程。例如利用数据预测用户购物行为属性商业智能什么是数据仓库
DW
:...
数据库开发岗的一点总结
数据库开发岗工作总结,分享给大家~ 干货不太多,还算是有一点心得,个人简单小结,供君参考评阅!
数据仓库
7,388
社区成员
6,742
社区内容
发帖
与我相关
我的任务
数据仓库
其他数据库开发 数据仓库
复制链接
扫一扫
分享
社区描述
其他数据库开发 数据仓库
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章