ORACLE中LONGTEXT SQOOP拉取数据到HIVE中读取该字段出现问题

刘圆辉 2020-05-27 10:44:40

使用sqoop拉取数据的时候报错了

这个字段在oracle是LONG类型的

看到网上说可以强制转换类型

我试了,加上这两个参数,还是不行.

...全文

418 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

刘圆辉 2020-05-29

打赏
举报

回复

引用 1 楼 qingyuan18 的回复:

把你sqoop的cli 完整贴上来看看，另外Oracle的schema也发一下
long型字段sqoop不应该有问题，你是不是blob/clob字段类型? 这种字段Oracle都不推荐用，建议不要再往大数据平台上导入，要导入就直接用sqoop的filter sql转换完再导入，因为hadoop上不管是hive还是spark，以后都会是parquet格式的文件

好兄弟,是这样的,我的这个问题跟我发布的描述不一样,我也是发布之后才发现的,,现在问题是这样的
比如我现在表就这一个字段,,有两条数据 ,第一条不乱吗第二条数据中的部分数据乱码

这种情况下我使用sqoop拉数据的时候,,乱码的这个就报错了
我不明白为什么乱码就报错,,,都是当成字符串去处理,乱码就乱码呗,,为什么会报这个空指针异常?

qingyuan18 2020-05-29

打赏
举报

回复

乱码在oracle里面能正常select么? sqoop报错的原因可能是因为编码，也可能是这种情况下的触发的sqoop的bug 可以尝试用mapping column把oracle里面有乱码的字段强制再做一次string转换，看能否解决这个问题

qingyuan18 2020-05-28

打赏
举报

回复

把你sqoop的cli 完整贴上来看看，另外Oracle的schema也发一下 long型字段sqoop不应该有问题，你是不是blob/clob字段类型? 这种字段Oracle都不推荐用，建议不要再往大数据平台上导入，要导入就直接用sqoop的filter sql转换完再导入，因为hadoop上不管是hive还是spark，以后都会是parquet格式的文件

Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS...

一年多前写的用spark 实现sqoop类似功能的数据同步工具,拿出来分享一下优点: 1.用配置代替sqoop命令,维护简单,添加新增同步表或下线同步表,只需在sql中增加或删除即可 2.实测性能比sqoop好,当然前提是内存资源足够实现功能: 1.通过配置需要同步的表清单元数据,实现多表并行从mysql同步到hive 2.通过配置表同步类型,实现全量同步,增量同步,是否重跑功能 2.通过配置表的并行分区字段,分区度(并行度),实现表数据分区并行同步 3.同步过程中,动态检测源表表结构字段变化,并做相应

背景在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS(Operational Data Store)数据。在互联网企业中，常见的ODS数据有业务日志数据(Log)和业务DB数据(DB)两类。对于业务DB数据来说，从MySQL等关系型数据库的业务数据进行采集，然后导入到Hive中，是进行数据仓库生产的重要环节。如何准确、高效地把MySQL数据同步到Hive中？一般常用的解决方案是...

首先，我们需要注册AWS帐号，并启用EC2（Elastic Cloud Computing，高性能云计算）、EMR（Elastic Map-Reduce，高性能大数据计算）、Redshift/Snowflake数据仓库和S3（Simple Storage Service，简单存储服务）、DevOps（用于Github持续集成）和Github Enterprise这些服务。其次，我们需要梳理清楚Oracle数据库中Informatica Designer中的数据源、目标表和数据转换映射对象中的表、视图以及用

Hive 在加载数据过程中不会对数据进行任何的修改，只是将数据移动到HDFS 中Hive 设定的目录下，因此，Hive 不支持对数据的改写和添加，所有的数据都是在加载的时候确定的。当按照类型进行group by的时候，会将相同的group by字段的reduce任务需要的数据拉取到同一个节点进行聚合，而当其中每一组的数据量过大时，会出现其他组的计算已经完成而这个reduce还没有计算完成，其他的节点一直等待这个节点的任务执行完成，所以会一直看到map 100% reduce99%的情况；

Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章