Informatica中源表的数据量太大该怎么处理

弹指神通 2014-12-07 11:02:17
这是一个事实表的mapping,其中好几个源表都有上亿的数据,而且部分大表之间还要做join。将session跑起来之后,从源表读数据的时间就要很久,几十分钟的样子。然后两个大表又要做join..最后这个session因为时间太长失败了。
请问各位对这种mapping有什么处理方法吗?
感觉可以调优的步骤差不多都已经试过了,由于源表的数据量确实有点大,所以感觉也没什么好的办法。希望各位给点意见。
...全文
2476 5 打赏 收藏 转发到动态 举报
写回复
用AI写文章
5 条回复
切换为时间正序
请发表友善的回复…
发表回复
qq_38468736 2017-04-24
  • 打赏
  • 举报
回复
根据你问题描述,应该是瓶颈出现在源文件读取上,建议设置多线程(建议4个线程)读取数据源文件,同时根据关联字段在每个source之后添加sort组件(目的是排序源文件,并且将源文件先落地),在join组件上确保master的表为小表
robelus 2015-01-15
  • 打赏
  • 举报
回复
split source data, 然后分多批次运行ETL LOADING.
弹指神通 2014-12-26
  • 打赏
  • 举报
回复
引用 2 楼 lxxffff 的回复:
增量抽取+表分区存储,如果必须全表比对....加索引之类的吧
增量抽取是后面要考虑的,现在我要把现有数据抽取过来。但是现在做的mapping几个源表的数据量都过亿,infor跑这个mapping的时候读source表的数据都会超时,这种一般要怎么处理。
lxxffff 2014-12-23
  • 打赏
  • 举报
回复
增量抽取+表分区存储,如果必须全表比对....加索引之类的吧
Forogen 2014-12-16
  • 打赏
  • 举报
回复
增量抽取不可以吗?
课程介绍:          Informatica 9.6 实战课程,将从数据仓库体系架构介绍,服务器搭建配置,实例组件操作,丰富的案例,及项目实战开发过程 来讲述ETL工具Informatica的实际应用,真正完成数据仓库全流程开发应用,ODS层,EDW层,DM层,学完该课程具备ETL软件开发工程师能力水平,能独立完成项目开发工作,从入门到高级项目开发应用,每个实例都载图,课件,教程,数据等,能达到中高级ETL开发能力,本课程的学习要求,一定跟着实例动手实战,操作才能掌握实例的开发步骤,及开发注意事项。每个组件都用具体案例讲解,保证学以致用。掌握ETL的开发技能,搭建数据仓库体系架构。应对各环境操作。具体数据实操与应用。 你将收获:ETL软件开发工程师能力与水平数据仓库体系架构案例综合应用实战ETL实战项目开发数据采集与数据处理数据清洗与数据仓库指标统计学会使用Informatica完成项目开发掌握ETL开发流程掌握数据质量管理 适用人群 数据仓库初学者 数据仓库开发工程师 数据库开发工程师 BI开发工程师 数据可视化工程师大数据开发与应用 数据仓库管理 数据管理 数据分析师 业务数据分析 零基础入门ETL ETL大数据处理 数据仓库体系架构图: 课程大纲:01_Informatica9.6课程导学02_数据仓库体系介绍03_Oracle_安装04_Oracle_配置.wmv05_PLSQL工具汉化破解06_Informatica9.6安装.wmv07_Informatica9.6服务器配置.wmv08_客户端的安装配置连接.wmv09_客户端工具介绍10_源数据介绍11_入门实例EMP_0112_入门实例EMP_0213_入门实例DEPT表14_表达式Fx组件实例115_表达式Fx组件实例216_聚合组件实例17_查找Lookup组件实例18_过滤Filter组件实例19_Informatica9.6 排序sort组件实例详解20_Informatica9.6 分发器Router组件实例21_Informatica9.6 sql连接查询复习22_Informatica9.6 连接查询同构SQ23_Informatica9.6 连接查询异构JOIN24_Informatica9.6 等级函数Rank实例25_Informatica9.6 数据合并Union组件实例26_Informatica9.6 存储过程Px组件实例27_1行转列案例sql28_2行转列案例ETL过程29_工资大于该职位下平均工资案例30_增量抽取案例31_缓慢变化维案例32_对文件数据的读取写入33_项目1薪酬统计项目介绍34_Informatica 项目1薪酬统计项目接口入库ODS35_Informatica 项目1薪酬统计项目EDW层明细表临时表1sql36_Informatica 项目1薪酬统计项目EDW层明细表临时表2ETL37_Informatica 项目1薪酬统计EDW层明细表138_Informatica 项目1薪酬统计EDW层明细表239_Informatica 项目1薪酬统计EDW层明细表340_Informatica 项目1薪酬统计DM层月考勤统计报表41_Informatica 项目1开发DM层统计报表142_Informatica 项目1开发DM层统计报表243_Informatica 项目1开发DM层统计报表344_Informatica 项目1开发DM层薪资报表145_Informatica 项目1开发DM层薪资报表246_Informatica 项目1开发DM层薪资报表347_Informatica 项目2计费系统项目介绍48_Informatica 项目2计算系统项目ODS层49_Informatica 项目2计费系统EDW层150_Informatica 项目2计费系统EDW层251_Informatica 项目2计费系统EDW层352_Informatica 项目2计费系统DM层 

246

社区成员

发帖
与我相关
我的任务
社区描述
讨论 Informatica 数据集成相关技术、数据隐私保护相关技术
社区管理员
  • 数据集成社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧