社区
Informatica
帖子详情
infa全量直抽数据量不对
s1136747328
2020-05-13 10:33:27
也没报错
mysql库
将源和目标重新导,重做mapping又行了
数据量一千多万左右
...全文
369
1
打赏
收藏
infa全量直抽数据量不对
也没报错 mysql库 将源和目标重新导,重做mapping又行了 数据量一千多万左右
复制链接
扫一扫
分享
举报
写回复
配置赞助广告
1 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
QBen-Q
2020-07-21
打赏
举报
回复
看看monitor里面,看源/目标的统计信息里面,看有没有'已拒绝的行',如果有的话,查看会话日志,找到对应原因解决就是了。一般我们是字段的长度不够了,源的长度更长,目标的字段长度短,所以写不进数据库,这时就会有数据缺失。
相关推荐
数据
抽
取常见的几种模式
常见的
数据
抽
取模式有4种:全
量
覆盖
抽
取,全
量
追加,增
量
和增
量
滚动。 全
量
覆盖 例子:假设第一天源头库有100条
数据
,第二天源头库新增10条,源头库即110条。那么第一天
抽
取:目标库100条,第二天
抽
取会删除昨天
抽
取的100条,然后重新
抽
取,此时目标库也是110条。 优点:理解简单,
数据
质
量
好,适用于小
数据
量
的表。 缺点:大
数据
量
的时候,占用资源,且
抽
取速度慢。 结论:全
量
覆盖
抽
取,
抽
取的时刻始终和源库
数据
保持一致。覆盖是一个先删除后拷贝的过程。 全
量
追加 例子:第一天源头库有100条
数据
,第二天源头库新增1
ETL
数据
抽
取 全
量
增
量
在根据用户需求选择需要
抽
取的字段之外,我们通常需要选择采用全
量
或者增
量
的方法进行
数据
抽
取。全
量
抽
取指的是从源系统中将表内
数据
不加行的筛选,全部
抽
取;增
量
抽
取指的是只
抽
取前次
抽
取之后发生变化或者新增的
数据
(增
量
抽
取的
数据
难度较大,要保证
数据
不能多
抽
取,漏
抽
取)。 在源表
数据
量
较大,大部分
数据
一经入库改动可能较小时一般采用增
量
抽
取的方式;对于表数
量
较小或者维表这类情况会进行增
量
抽
取。 ...
sqoop采集
数据
到hive
@sqoop采集
数据
到hive 1、oracle
抽
取
数据
到hive 本身是map,可指定map的个数;可增
量
或全
量
抽
;通过shell脚本可批
量
抽
取 应用场景:将表从关系型
数据
库
抽
取到hive或hdfs 分隔符问题导致
数据
量
变多,参考https://blog.csdn.net/qq_38250124/article/details/84331037 null值问题:hive官方文档关于null值的描...
java 增
量
编译_GitHub - LookingDreamer/JavaCompile: Java compile是一个自动增
量
/全
量
编译java的api接口应用。 包含以下特性: 全
量
编译 增...
JavaCompileJava compile是一个自动增
量
/全
量
编译java的api接口应用。包含以下特性:全
量
编译增
量
编译svnkit接口(svn操作web接口)全流程使用案例[toc]说在最前面的话本人只是一枚从事运维6年的老兵,从今年年初一直在构建自动化运维平台,从持续交互着手,流程最开始的就是代码的
抽
包编译(这里说的java),然后研究了一下关于java的编译的相关知识。传统的开发人员直...
java 增
量
编译_GitHub - QuincyC379/JavaCompile: Java compile是一个自动增
量
/全
量
编译java的api接口应用。 包含以下特性: 全
量
编译 增
量
编译 ...
JavaCompileJava compile是一个自动增
量
/全
量
编译java的api接口应用。包含以下特性:全
量
编译增
量
编译svnkit接口(svn操作web接口)全流程使用案例[toc]说在最前面的话本人只是一枚从事运维6年的老兵,从今年年初一直在构建自动化运维平台,从持续交互着手,流程最开始的就是代码的
抽
包编译(这里说的java),然后研究了一下关于java的编译的相关知识。传统的开发人员直...
发帖
Informatica
Informatica
讨论 Informatica 数据集成相关技术、数据隐私保护相关技术
复制链接
扫一扫
241
社区成员
378
社区内容
讨论 Informatica 数据集成相关技术、数据隐私保护相关技术
社区管理员
加入社区
获取链接或二维码
帖子事件
创建了帖子
2020-05-13 10:33
社区公告
暂无公告