使用informatica把数据库中的clob字段导入到文本中

perry185 2013-11-12 03:52:24
1、数据较少时(查询时添加限制条件),能够执行成功。
但是文本中的clob数据会出现不全的情况,甚至是缺失(第一条数据每次都缺失,查询一条时也是)。
clob字段中字符串长度为74255,在mapping中设置源表对应的字段长度为100000,文本目标表设置对应字段类型为nstring,字段长度也为100000。

2、当查询数据较多时,执行工作流会报错。
查询数据较多时,报错信息:Database driver error...
Function Name : Fetch
SQL Stmt : SELECT EDW_RCP.T03_RM_SCNAR_RETURN_INFO_1.BIZ_DATE, EDW_RCP.T03_RM_SCNAR_RETURN_INFO_1.RMLRESULT_ID, EDW_RCP.T03_RM_SCNAR_RETURN_INFO_1.STAT_ID, EDW_RCP.T03_RM_SCNAR_RETURN_INFO_1.RISK_SET_NAME, EDW_RCP.T03_RM_SCNAR_RETURN_INFO_1.POS_DATE, EDW_RCP.T03_RM_SCNAR_RETURN_INFO_1.MKT_DATE, EDW_RCP.T03_RM_SCNAR_RETURN_INFO_1.VAR_VALUE, EDW_RCP.T03_RM_SCNAR_RETURN_INFO_1.UPDATE_TIME FROM EDW_RCP.T03_RM_SCNAR_RETURN_INFO_1 WHERE pos_date = 20121011
Database driver error...
Function Name : Fetch
SQL Stmt : SELECT EDW_RCP.T03_RM_SCNAR_RETURN_INFO_1.BIZ_DATE, EDW_RCP.T03_RM_SCNAR_RETURN_INFO_1.RMLRESULT_ID, EDW_RCP.T03_RM_SCNAR_RETURN_INFO_1.STAT_ID, EDW_RCP.T03_RM_SCNAR_RETURN_INFO_1.RISK_SET_NAME, EDW_RCP.T03_RM_SCNAR_RETURN_INFO_1.POS_DATE, EDW_RCP.T03_RM_SCNAR_RETURN_INFO_1.MKT_DATE, EDW_RCP.T03_RM_SCNAR_RETURN_INFO_1.VAR_VALUE, EDW_RCP.T03_RM_SCNAR_RETURN_INFO_1.UPDATE_TIME FROM EDW_RCP.T03_RM_SCNAR_RETURN_INFO_1 WHERE pos_date = 20121011
Database driver error...
Function Name : Fetch
SQL Stmt : SELECT EDW_RCP.T03_RM_SCNAR_RETURN_INFO_1.BIZ_DATE, EDW_RCP.T03_RM_SCNAR_RETURN_INFO_1.RMLRESULT_ID, EDW_RCP.T03_RM_SCNAR_RETURN_INFO_1.STAT_ID, EDW_RCP.T03_RM_SCNAR_RETURN_INFO_1.RISK_SET_NAME, EDW_RCP.T03_RM_SCNAR_RETURN_INFO_1.POS_DATE, EDW_RCP.T03_RM_SCNAR_RETURN_INFO_1.MKT_DATE, EDW_RCP.T03_RM_SCNAR_RETURN_INFO_1.VAR_VALUE, EDW_RCP.T03_RM_SCNAR_RETURN_INFO_1.UPDATE_TIME FROM EDW_RCP.T03_RM_SCNAR_RETURN_INFO_1 WHERE pos_date = 20121011

查看下source/target statistics
发现从目标表查询出来160条,往目标表插入104条。
但是在数据库中查询整张表实际大小才1.18G,但是我在session中配置如图。
...全文
1366 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
perry185 2013-11-15
  • 打赏
  • 举报
回复
这个是我测试时碰到的问题,现在还不知道什么原因,就是想弄明白什么原因
graysun 2013-11-12
  • 打赏
  • 举报
回复
丢数的话,最好找售后了
perry185 2013-11-12
  • 打赏
  • 举报
回复

session配置图片
课程介绍:          Informatica 9.6 实战课程,将从数据仓库体系架构介绍,服务器搭建配置,实例组件操作,丰富的案例,及项目实战开发过程 来讲述ETL工具Informatica的实际应用,真正完成数据仓库全流程开发应用,ODS层,EDW层,DM层,学完该课程具备ETL软件开发工程师能力水平,能独立完成项目开发工作,从入门到高级项目开发应用,每个实例都载图,课件,教程,数据等,能达到高级ETL开发能力,本课程的学习要求,一定跟着实例动手实战,操作才能掌握实例的开发步骤,及开发注意事项。每个组件都用具体案例讲解,保证学以致用。掌握ETL的开发技能,搭建数据仓库体系架构。应对各环境操作。具体数据实操与应用。 你将收获:ETL软件开发工程师能力与水平数据仓库体系架构案例综合应用实战ETL实战项目开发数据采集与数据处理数据清洗与数据仓库指标统计学会使用Informatica完成项目开发掌握ETL开发流程掌握数据质量管理 适用人群 数据仓库初学者 数据仓库开发工程师 数据库开发工程师 BI开发工程师 数据可视化工程师大数据开发与应用 数据仓库管理 数据管理 数据分析师 业务数据分析 零基础入门ETL ETL大数据处理 数据仓库体系架构图: 课程大纲:01_Informatica9.6课程导学02_数据仓库体系介绍03_Oracle_安装04_Oracle_配置.wmv05_PLSQL工具汉化破解06_Informatica9.6安装.wmv07_Informatica9.6服务器配置.wmv08_客户端的安装配置连接.wmv09_客户端工具介绍10_源数据介绍11_入门实例EMP_0112_入门实例EMP_0213_入门实例DEPT表14_表达式Fx组件实例115_表达式Fx组件实例216_聚合组件实例17_查找Lookup组件实例18_过滤Filter组件实例19_Informatica9.6 排序sort组件实例详解20_Informatica9.6 分发器Router组件实例21_Informatica9.6 sql连接查询复习22_Informatica9.6 连接查询同构SQ23_Informatica9.6 连接查询异构JOIN24_Informatica9.6 等级函数Rank实例25_Informatica9.6 数据合并Union组件实例26_Informatica9.6 存储过程Px组件实例27_1行转列案例sql28_2行转列案例ETL过程29_工资大于该职位下平均工资案例30_增量抽取案例31_缓慢变化维案例32_对文件数据的读取写入33_项目1薪酬统计项目介绍34_Informatica 项目1薪酬统计项目接口入库ODS35_Informatica 项目1薪酬统计项目EDW层明细表临时表1sql36_Informatica 项目1薪酬统计项目EDW层明细表临时表2ETL37_Informatica 项目1薪酬统计EDW层明细表138_Informatica 项目1薪酬统计EDW层明细表239_Informatica 项目1薪酬统计EDW层明细表340_Informatica 项目1薪酬统计DM层月考勤统计报表41_Informatica 项目1开发DM层统计报表142_Informatica 项目1开发DM层统计报表243_Informatica 项目1开发DM层统计报表344_Informatica 项目1开发DM层薪资报表145_Informatica 项目1开发DM层薪资报表246_Informatica 项目1开发DM层薪资报表347_Informatica 项目2计费系统项目介绍48_Informatica 项目2计算系统项目ODS层49_Informatica 项目2计费系统EDW层150_Informatica 项目2计费系统EDW层251_Informatica 项目2计费系统EDW层352_Informatica 项目2计费系统DM层 

246

社区成员

发帖
与我相关
我的任务
社区描述
讨论 Informatica 数据集成相关技术、数据隐私保护相关技术
社区管理员
  • 数据集成社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧