spark sql csv文件中字段值为\N的字段如何处理??

hdyrz 2018-12-21 03:45:34
csv文件如下:
IP,Name,Port,Coding,Type,TotalInitCount
"10.44.161.194","297504M5616-109","0_1_0",\N,"interleavedOnly",\N
……


其中TotalInitCount字段部分数据为\N

数据文件已经被加载到
val df = spark.read.option("header", true).format("csv").csv("/tmp/data.csv")
df.createOrReplaceTempView("testtbl")


现在想用spark sql语句过查询出TotalInitCount为\N的字段
scala> spark.sql("select *  from testtbl where TotalInitCount='\\N'").show() 

//查询结果为空

在不改变原有表结构的前提下,这个字段应该怎么处理,好像用简单的特殊字符转义无法正常处理
...全文
265 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
hdyrz 2018-12-21
  • 打赏
  • 举报
回复 1
最后采用了正则匹配的方式... rlike

1,258

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧