ETL的工作原理

jin_ok 2014-08-22 01:31:04
接触Informatic不久，E、T、L这三个步骤是并行的还是串行的？
...全文
2275 2 打赏 收藏 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
弹指神通 2014-12-26
  • 打赏
  • 举报
 回复
这个我觉得可能是要根据逻辑来看吧，理论上来说ETL是可以并行的，但是有的逻辑，比如你mapping里面有sorter之类的，load肯定是在extract之后。
jin_ok 2014-08-25
  • 打赏
  • 举报
 回复
我测试的情况是这样的，Load这个步骤不是并行的，一个10分钟的任我，数据是在最后的1分钟之内装载的，抽取和转换可能是在内存中并行进行的
ETL介绍及工作原理
博客介绍了ETL相关知识，ETL包括提取、转换、加载，提取从多源收集数据，转换将数据变成所需形式，加载将数据写入目标库。ETL用于数据迁移、格式转换等。还介绍了数据集，它是特定数据存储库，能缩短响应时间，占用空间少、搜索易、成本低。
企业对数据集成工具的需求及 ETL 工具工作原理详解
企业为挖掘数据价值，对数据集成工具需求迫切。ETL 工具是数据集成核心，其工作原理包括抽取、转换、加载等阶段，还有调度、错误处理等功能。谷云 ETL 产品能高效采集整合多源异构数据，具备实时处理能力，配置灵活，且有安全保障，是企业数据集成优质之选。
揭秘大数据领域 ETL 的工作原理与流程
本文系统阐述大数据领域ETL（提取-转换-加载）的核心原理与实施流程，涵盖技术架构、数据质量模型、算法实现及工程实践。通过Python示例展示数据清洗、转换与加载关键步骤，并结合电商订单实战案例说明ETL在真实场景中的应用。同时分析主流工具、行业趋势与挑战，助力构建高效数据集成体系。
深入解析大数据体系中的ETL工作原理及常见组件
本文详细介绍了大数据处理中的ETL过程，包括抽取、转换和加载三个步骤，涵盖了数据源选择、清洗、规范化、组件使用，以及如何通过优化策略提高性能，还推荐了阿里云DataX作为数据集成工具。
Informatica

248

社区成员

377

社区内容

发帖
与我相关
我的任务
社区描述
讨论 Informatica 数据集成相关技术、数据隐私保护相关技术
社区管理员
  • 数据集成社区
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章