informatica执行时间长,报错

iamascv1 2014-09-30 12:09:01
大家好,我在数据抽取的过程中,有的任务执行2个多小时,查看日志,发现是lookup组件报的警告,具体日志如下:

2014-09-30 02:34:33 : INFO : (22231 | LKPDP_2:TRANSF_1_1) : (IS | IS_ETL_ODS_02) : node02_152 : TT_11195 : Warning: Unsorted input found when building the cache for the Lookup transformation [LK_V_DJ_NSRXX]. The current number of entries in the index cache is 840026. For optimal performance, use sorted input.

2014-09-30 04:59:41 : ERROR : (22231 | LKPDP_2:TRANSF_1_1) : (IS | IS_ETL_ODS_02) : node02_152 : CMN_1117 : ERROR: Could not allocate space in file [/home/infa/Informatica/PowerCenter950/server/infa_shared/Cache/PMLKUP337_14_0_136771L64.dat].
2014-09-30 04:59:41 : ERROR : (22231 | LKPDP_2:TRANSF_1_1) : (IS | IS_ETL_ODS_02) : node02_152 : TM_6085 : A fatal error occurred at transformation [LK_V_DJ_NSRXX{{BLD}}], and the session is terminating.
2014-09-30 04:59:41 : ERROR : (22231 | LKPDP_2:TRANSF_1_1) : (IS | IS_ETL_ODS_02) : node02_152 : TM_6085 : A fatal error occurred at transformation [LK_V_DJ_NSRXX{{DSQ}}], and the session is terminating.
2014-09-30 04:59:41 : ERROR : (22231 | LKPDP_2:TRANSF_1_1) : (IS | IS_ETL_ODS_02) : node02_152 : TM_6085 : A fatal error occurred at transformation [LK_V_DJ_NSRXX{{DSQ}}], and the session is terminating.
2014-09-30 04:59:41 : ERROR : (22231 | LKPDP_2:TRANSF_1_1) : (IS | IS_ETL_ODS_02) : node02_152 : TM_6085 : A fatal error occurred at transformation [LK_V_DJ_NSRXX{{DSQ}}], and the session is terminating.
2014-09-30 04:59:41 : DEBUG : (22231 | LKPDP_2:TRANSF_1_1) : (IS | IS_ETL_ODS_02) : node02_152 : DBG_21511 : TE: Fatal Transformation Error.

最后任务执行失败
其中lookup组件用的是一个视图,视图已经做过优化,但不清楚里面提到的"sorted input",是什么意思?
在lookup组件上,有个“Sorted Input”的选项,但是是灰色的,怎么才能让它变为可选?
日志信息还提到“Could not allocate space in file ”,但是我看看磁盘空间很富裕,使用了50%不到,为什么还提示不能分配空间。
下面是我的lookup组件的截图:



都各位高手帮忙看一下,如果还需要什么信息,请说。
...全文
2256 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
DaoDao945 2014-10-10
  • 打赏
  • 举报
回复
不知道lz的问题解决了没有,如果解决的话 请share一下。 帖子中的问题, 1. sorted input选项在lookup组件中不适用于source type为database的 2. 报错问题在于生成的cache中数据文件太大。 这个视图中用于lookup condition的字段的distinct value就有80W之多,所以总体数据量应该蛮大的。 如果不能优化逻辑,缩小lookup的数据集大小的话,那么只能增大lookup cache data size 的大小。
课程介绍:          Informatica 9.6 实战课程,将从数据仓库体系架构介绍,服务器搭建配置,实例组件操作,丰富的案例,及项目实战开发过程 来讲述ETL工具Informatica的实际应用,真正完成数据仓库全流程开发应用,ODS层,EDW层,DM层,学完该课程具备ETL软件开发工程师能力水平,能独立完成项目开发工作,从入门到高级项目开发应用,每个实例都载图,课件,教程,数据等,能达到中高级ETL开发能力,本课程的学习要求,一定跟着实例动手实战,操作才能掌握实例的开发步骤,及开发注意事项。每个组件都用具体案例讲解,保证学以致用。掌握ETL的开发技能,搭建数据仓库体系架构。应对各环境操作。具体数据实操与应用。 你将收获:ETL软件开发工程师能力与水平数据仓库体系架构案例综合应用实战ETL实战项目开发数据采集与数据处理数据清洗与数据仓库指标统计学会使用Informatica完成项目开发掌握ETL开发流程掌握数据质量管理 适用人群 数据仓库初学者 数据仓库开发工程师 数据库开发工程师 BI开发工程师 数据可视化工程师大数据开发与应用 数据仓库管理 数据管理 数据分析师 业务数据分析 零基础入门ETL ETL大数据处理 数据仓库体系架构图: 课程大纲:01_Informatica9.6课程导学02_数据仓库体系介绍03_Oracle_安装04_Oracle_配置.wmv05_PLSQL工具汉化破解06_Informatica9.6安装.wmv07_Informatica9.6服务器配置.wmv08_客户端的安装配置连接.wmv09_客户端工具介绍10_源数据介绍11_入门实例EMP_0112_入门实例EMP_0213_入门实例DEPT表14_表达式Fx组件实例115_表达式Fx组件实例216_聚合组件实例17_查找Lookup组件实例18_过滤Filter组件实例19_Informatica9.6 排序sort组件实例详解20_Informatica9.6 分发器Router组件实例21_Informatica9.6 sql连接查询复习22_Informatica9.6 连接查询同构SQ23_Informatica9.6 连接查询异构JOIN24_Informatica9.6 等级函数Rank实例25_Informatica9.6 数据合并Union组件实例26_Informatica9.6 存储过程Px组件实例27_1行转列案例sql28_2行转列案例ETL过程29_工资大于该职位下平均工资案例30_增量抽取案例31_缓慢变化维案例32_对文件数据的读取写入33_项目1薪酬统计项目介绍34_Informatica 项目1薪酬统计项目接口入库ODS35_Informatica 项目1薪酬统计项目EDW层明细表临时表1sql36_Informatica 项目1薪酬统计项目EDW层明细表临时表2ETL37_Informatica 项目1薪酬统计EDW层明细表138_Informatica 项目1薪酬统计EDW层明细表239_Informatica 项目1薪酬统计EDW层明细表340_Informatica 项目1薪酬统计DM层月考勤统计报表41_Informatica 项目1开发DM层统计报表142_Informatica 项目1开发DM层统计报表243_Informatica 项目1开发DM层统计报表344_Informatica 项目1开发DM层薪资报表145_Informatica 项目1开发DM层薪资报表246_Informatica 项目1开发DM层薪资报表347_Informatica 项目2计费系统项目介绍48_Informatica 项目2计算系统项目ODS层49_Informatica 项目2计费系统EDW层150_Informatica 项目2计费系统EDW层251_Informatica 项目2计费系统EDW层352_Informatica 项目2计费系统DM层 

246

社区成员

发帖
与我相关
我的任务
社区描述
讨论 Informatica 数据集成相关技术、数据隐私保护相关技术
社区管理员
  • 数据集成社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧