DataFrame导出为parquet时异常

墨寻者 2017-09-18 10:38:01
在执行Df.write.format("parquet").save("D:\\Work\\Spark\\Data\\Df.parquet")时出现以下异常提示
java.lang.RuntimeException: Error while encoding: java.lang.RuntimeException: java.lang.Integer is not a valid external type for schema of string。
但在执行Df.show(false)时 可以正常执行。请大神们诊断出策,谢谢!!!
...全文
470 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
大数据运维 2017-09-28
  • 打赏
  • 举报
回复
从报错信息的字面含义看出,是运行时的类型转换错误。 能不能把例子给出来?
卡奥斯道 2017-09-25
  • 打赏
  • 举报
回复
java.lang.Integer is not a valid external type for schema of string。 估计是你的StructType中的StructField定义的某个字段为String类型,但是你RDD[Row]中对应的却为Integer类型 仔细检查 你可以把你源码贴出了

1,258

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧