infa全量直抽数据量不对

s1136747328 2020-05-13 10:33:27

也没报错

mysql库

将源和目标重新导，重做mapping又行了

数据量一千多万左右

...全文

369 1 打赏收藏举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

QBen-Q 2020-07-21

打赏
举报

回复

看看monitor里面，看源/目标的统计信息里面，看有没有'已拒绝的行'，如果有的话，查看会话日志，找到对应原因解决就是了。一般我们是字段的长度不够了，源的长度更长，目标的字段长度短，所以写不进数据库，这时就会有数据缺失。

相关推荐

常见的数据抽取模式有4种：全量覆盖抽取，全量追加，增量和增量滚动。全量覆盖例子：假设第一天源头库有100条数据，第二天源头库新增10条，源头库即110条。那么第一天抽取：目标库100条，第二天抽取会删除昨天抽取的100条，然后重新抽取，此时目标库也是110条。优点：理解简单，数据质量好，适用于小数据量的表。缺点：大数据量的时候，占用资源，且抽取速度慢。结论：全量覆盖抽取，抽取的时刻始终和源库数据保持一致。覆盖是一个先删除后拷贝的过程。全量追加例子：第一天源头库有100条数据，第二天源头库新增1

在根据用户需求选择需要抽取的字段之外，我们通常需要选择采用全量或者增量的方法进行数据抽取。全量抽取指的是从源系统中将表内数据不加行的筛选，全部抽取；增量抽取指的是只抽取前次抽取之后发生变化或者新增的数据（增量抽取的数据难度较大，要保证数据不能多抽取，漏抽取）。在源表数据量较大，大部分数据一经入库改动可能较小时一般采用增量抽取的方式；对于表数量较小或者维表这类情况会进行增量抽取。 ...

@sqoop采集数据到hive 1、oracle抽取数据到hive 本身是map,可指定map的个数；可增量或全量抽；通过shell脚本可批量抽取应用场景：将表从关系型数据库抽取到hive或hdfs 分隔符问题导致数据量变多，参考https://blog.csdn.net/qq_38250124/article/details/84331037 null值问题：hive官方文档关于null值的描...

JavaCompileJava compile是一个自动增量/全量编译java的api接口应用。包含以下特性:全量编译增量编译svnkit接口(svn操作web接口)全流程使用案例[toc]说在最前面的话本人只是一枚从事运维6年的老兵，从今年年初一直在构建自动化运维平台，从持续交互着手，流程最开始的就是代码的抽包编译(这里说的java)，然后研究了一下关于java的编译的相关知识。传统的开发人员直...

JavaCompileJava compile是一个自动增量/全量编译java的api接口应用。包含以下特性:全量编译增量编译svnkit接口(svn操作web接口)全流程使用案例[toc]说在最前面的话本人只是一枚从事运维6年的老兵，从今年年初一直在构建自动化运维平台，从持续交互着手，流程最开始的就是代码的抽包编译(这里说的java)，然后研究了一下关于java的编译的相关知识。传统的开发人员直...

发帖

241

社区成员

378

社区内容

讨论 Informatica 数据集成相关技术、数据隐私保护相关技术

社区管理员

加入社区

帖子事件

创建了帖子

2020-05-13 10:33

社区公告

暂无公告