SQOOP如何不将空字段填为NULL？

[allenpony]

ORACLE的一些字段是空，导入到HDFS后会发现SQOOP把他填成了null字符，请问这个该怎么解决啊？我想保持该字段为空

[撸大湿]

LZ已经第三次问类似的问题了 先帮顶，等空下来，我花时间研究一下

[allenpony]

引用 1 楼 tntzbzc 的回复:

LZ已经第三次问类似的问题了 先帮顶，等空下来，我花时间研究一下

其实3次的问题是有区别的。最开始我是直接导数据，发现日期为空的字段HIVE查询时会报格式错误，于是当时想是否有ORACLE的TO_CHAR或者NVL类似的函数，结果没有，最终在导入的时候填了个默认值。再后来发现中文乱码问题，捣鼓了半天没弄好，不过这个比较简单，可以在前台展示的时候用JAVA进行转码。这次是因为我需要使用NVL函数，于是自己写了个UDF，测试发现很奇怪，nvl(null,'aaa'）可以正常使用，如果nvl(column,'aaa')，column的取值为空的话显示的是null而不是aaa,组后查了下数据文件，发现存储的就是null字符串。查了下相关文档，说sqoop就是会将null值变成'null'串，除非用sequencefile格式的存储。但是我试了下，存为这种格式的文件，HIVE无法加载。。。

[啊彪123]

如果为null设置一个初始值，比如0！

[r6]

Sqoop will by default import NULL values as string null. Hive is however using string \N to denote NULL values and therefore predicates dealing with NULL (like IS NULL) will not work correctly. You should append parameters --null-string and --null-non-string in case of import job or --input-null-string and --input-null-non-string in case of an export job if you wish to properly preserve NULL values. Because sqoop is using those parameters in generated code, you need to properly escape value \N to \\N: $ sqoop import ... --null-string '\\N' --null-non-string '\\N'

[撸大湿]

引用 4 楼 0flying0 的回复:

Sqoop will by default import NULL values as string null. Hive is however using string \N to denote NULL values and therefore predicates dealing with NULL (like IS NULL) will not work correctly. You should append parameters --null-string and --null-non-string in case of import job or --input-null-string and --input-null-non-string in case of an export job if you wish to properly preserve NULL values. Because sqoop is using those parameters in generated code, you need to properly escape value \N to \\N: $ sqoop import ... --null-string '\\N' --null-non-string '\\N'

赞，很有参考价值！谢4楼分享

[u010892554]

[u010891930]

如果为null设置一个初始值，比如0！

[u010891873]

其实3次的问题是有区别的。最开始我是直接导数据，发现日期为空的字段HIVE查询时会报格式错误，于是当时想是否有ORACLE的TO_CHAR或者NVL类似的函数，结果没有，最终在导入的时候填了个默认值。再后来发现中文乱码问题，捣鼓了半天没弄好，不过这个比较简单，可以在前台展示的时候用JAVA进行转码。这次是因为我需要使用NVL函数，于是自己写了个UDF，测试发现很奇怪，nvl(null,'aaa'）可以正常使用，如果nvl(column,'aaa')，column的取值为空的话显示的是null而不是aaa,组后查了下数据文件，发现存储的就是null字符串。查了下相关文档，说sqoop就是会将null值变成'null'串，除非用sequencefile格式的存储。但是我试了下，存为这种格式的文件，HIVE无法加载。。。

[u010891873]

如果为null设置一个初始值，比如0！

[allenpony]

引用 4 楼 0flying0 的回复:

Sqoop will by default import NULL values as string null. Hive is however using string \N to denote NULL values and therefore predicates dealing with NULL (like IS NULL) will not work correctly. You should append parameters --null-string and --null-non-string in case of import job or --input-null-string and --input-null-non-string in case of an export job if you wish to properly preserve NULL values. Because sqoop is using those parameters in generated code, you need to properly escape value \N to \\N: $ sqoop import ... --null-string '\\N' --null-non-string '\\N'

正解，原来我只用了一个\，难怪不好使，谢谢，同时谢谢斑竹的热心帮忙

[慧慧_阿姨]

如果有连续2个字段都是空，会出现第二为空的字段没有被替换为“\N”，大家遇到过没有