ETL的工作原理

jin_ok 2014-08-22 01:31:04
接触Informatic不久,E、T、L这三个步骤是并行的还是串行的?
...全文
2186 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
弹指神通 2014-12-26
  • 打赏
  • 举报
回复
这个我觉得可能是要根据逻辑来看吧,理论上来说ETL是可以并行的,但是有的逻辑,比如你mapping里面有sorter之类的,load肯定是在extract之后。
jin_ok 2014-08-25
  • 打赏
  • 举报
回复
我测试的情况是这样的,Load这个步骤不是并行的,一个10分钟的任我,数据是在最后的1分钟之内装载的,抽取和转换可能是在内存中并行进行的
推荐算法系统ETL数据处理实战 :一、课程优势本课程有陈敬雷老师的清华大学出版社配套新书教材《分布式机器学习实战》人工智能科学与技术丛书,新书教材配合此实战课程结合学习,一静一动,互补高效学习!本课程由互联网一线知名大牛陈敬雷老师全程亲自授课,技术前沿热门,是真正的互联网工业级实战项目。二、课程简介       搭建完数据仓库和平台之后,我们日常很多工作会做数据处理,也就是ETLETL分全量和增量两种处理方式,在推荐系统占用的工作量是比较大的,做一个算法系统,ETL数据处理的也是必须的。 下面来讲讲推荐的ETL数据处理是如何做的?我让我们体验下真实的用户实战场景!三、老师介绍陈敬雷  充电了么创始人,CEO兼CTO陈敬雷,北京充电了么科技有限公司创始人,CEO兼CTO,十几年互联网从业经验,曾就职于用友、中软、凡客、乐蜂网(唯品会)、猎聘网、人民日报(灵思云途)、北京万朝科技,曾任架构师、首席技术官、首席科学家等职务,对业务领域B端、C端、电商、职场社交招聘、内容文娱、营销行业都有着丰富的经验,在技术领域,尤其在大数据和人工智能方向有丰富的算法工程落地实战经验,其中在猎聘网任职期间主导的推荐算法系统项目获得公司优秀项目奖,推荐效果得到5倍的提升。 陈敬雷著有清华大学出版社两本人工智能书籍,分别是《分布式机器学习实战(人工智能科学与技术丛书)》已出版、《自然语言处理原理与实战(人工智能科学与技术丛书)》。 目前专注于大数据和人工智能驱动的上班族在线教育行业,研发了充电了么app和网站,用深度学习算法、nlp、推荐引擎等技术来高效提升在线学习效率。 

246

社区成员

发帖
与我相关
我的任务
社区描述
讨论 Informatica 数据集成相关技术、数据隐私保护相关技术
社区管理员
  • 数据集成社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧