Spark Scala: Schema for type Unit is not supported

alex_82712 2018-07-24 10:21:30
Code:
val duration_dates = udf( (ci: Date, co: Date) => {
val miliseconds_per_day = 24*60*60*1000
val nDays = ( co.getTime() - ci.getTime() ) / miliseconds_per_day
(0L until nDays).map(i => new Date(ci.getTime() + i * miliseconds_per_day) )
}
)

我是一名Spark Scala编程的入门者,现在遇到一个问题,有一段prototype是udf的,现在执行报错
App > Exception in thread "main" java.lang.UnsupportedOperationException: Schema for type java.util.Date is not supported
请帮忙看看哪里有问题,谢谢
...全文
1041 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
QQ_csdn_work 2018-07-31
  • 打赏
  • 举报
回复
补充一下,如果你要用到时分秒,请使用 java.sql.Timestamp
QQ_csdn_work 2018-07-31
  • 打赏
  • 举报
回复
你好,针对你这个问题,我使用spark-shell试了下,确实如此。
然后找了官方资料查了查,并且给出解决方案,如下。

解决方法:


原因:
Spark SQL and DataFrames support the following data types:
Datetime type
TimestampType: Represents values comprising values of fields year, month, day, hour, minute, and second.
DateType: Represents values comprising values of fields year, month, day.



TimestampType java.sql.Timestamp TimestampType
DateType java.sql.Date DateType
内容概要:本文围绕“多主体综合能源系统+分布式ADMM研究”展开,系统阐述了交替方向乘子法(ADMM)在多主体综合能源系统中的分布式优化应用,提供了完整的Matlab代码实现。研究聚焦于多利益主体之间的协同优化问题,通过建立合理的数学模型,采用ADMM算法实现去中心化的求解架构,有效保障各主体的数据隐私性与决策自主性,同时提升整体系统的计算效率与优化性能。内容涵盖系统建模、优化问题分解、ADMM迭代求解流程、收敛性验证及结果分析,具有较强的理论深度与工程实践价值,适用于能源互联网、微电网群、园区综合能源系统等复杂场景的能量管理与协调调度。; 适合人群:具备电力系统分析、优化理论基础及Matlab编程能力的研究生、高校科研人员,以及从事综合能源系统规划、微电网优化、分布式能源管理等方向的工程技术人员。; 使用场景及目标:①应用于多主体参与的综合能源系统能量管理与协同优化调度;②帮助读者深入理解ADMM算法的分解-协调机制及其在分布式优化中的具体实现,支撑高水平学术论文复现、科研课题攻关或实际工程项目开发;③推动智能电网与能源互联网中去中心化、隐私保护型优化调度技术的发展与落地; 阅读建议:建议读者结合文中提供的Matlab代码进行动手实践,逐行调试并可视化关键变量的迭代过程,深入掌握ADMM算法的参数设置、收敛判据及数值稳定性处理技巧,并尝试将其拓展至电动汽车集群调度、多微电网互动、可再生能源消纳等其他分布式优化应用场景中进行仿真验证。
内容概要:本文围绕三相不平衡配电网的静态与动态状态估计开展仿真研究,提出并实现了基于Matlab的完整仿真代码体系,旨在精确获取配电网在复杂运行工况下的电压、电流等关键状态变量。研究深入构建了适用于三相不平衡系统的数学模型,设计并实现了高精度的状态估计算法,重点引入自适应无迹卡尔曼滤波(AUKF)等先进滤波技术以提升动态估计的鲁棒性与准确性。通过在静态与动态两种典型场景下的仿真实验,系统性地验证了所提方法在应对量测噪声、数据缺失等实际问题时的有效性与优越性。该研究为未公开发表的创新性工作,兼具重要的理论前瞻性和工程应用潜力。; 适合人群:具备电力系统分析基础理论知识和Matlab编程能力的高校研究生、科研院所的研究人员,以及从事智能配电网监控、调度自动化等相关领域的工程师。; 使用场景及目标:①作为教学与科研工具,深化对配电网状态估计基本原理、建模方法及先进算法实现的理解;②为开发新一代配电网高级应用软件(如能量管理系统EMS)提供可靠的算法原型和技术验证平台;③支撑高水平学术论文的撰写、科研项目的申报与关键技术攻关。; 阅读建议:建议读者结合提供的Matlab代码进行同步学习与调试,重点关注三相不平衡建模、状态空间方程构建、AUKF算法实现流程及仿真结果的对比分析部分,以深刻理解算法细节与性能优势。

1,274

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧