Spark Scala: Schema for type Unit is not supported

alex_82712 2018-07-24 10:21:30
Code:
val duration_dates = udf( (ci: Date, co: Date) => {
val miliseconds_per_day = 24*60*60*1000
val nDays = ( co.getTime() - ci.getTime() ) / miliseconds_per_day
(0L until nDays).map(i => new Date(ci.getTime() + i * miliseconds_per_day) )
}
)

我是一名Spark Scala编程的入门者,现在遇到一个问题,有一段prototype是udf的,现在执行报错
App > Exception in thread "main" java.lang.UnsupportedOperationException: Schema for type java.util.Date is not supported
请帮忙看看哪里有问题,谢谢
...全文
937 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
QQ_csdn_work 2018-07-31
  • 打赏
  • 举报
回复
补充一下,如果你要用到时分秒,请使用 java.sql.Timestamp
QQ_csdn_work 2018-07-31
  • 打赏
  • 举报
回复
你好,针对你这个问题,我使用spark-shell试了下,确实如此。
然后找了官方资料查了查,并且给出解决方案,如下。

解决方法:


原因:
Spark SQL and DataFrames support the following data types:
Datetime type
TimestampType: Represents values comprising values of fields year, month, day, hour, minute, and second.
DateType: Represents values comprising values of fields year, month, day.



TimestampType java.sql.Timestamp TimestampType
DateType java.sql.Date DateType

1,261

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧