spark streaming 程序级异常就自动退出,求方案

yingping1898 2016-07-08 09:29:45
如题。

提交一个计算单元到spark集群中。出现一个程序级异常,如从消息源中读取的JSON格式错误解析错误,或者写数据库抛异常,那么整个计算单元就从spark集群中退出了。

请问有什么解决方案吗?
...全文
492 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
yingping1898 2016-07-08
  • 打赏
  • 举报
回复
引用 楼主 yingping1898 的回复:
如题。 提交一个计算单元到spark集群中。出现一个程序级异常,如从消息源中读取的JSON格式错误解析错误,或者写数据库抛异常,那么整个计算单元就从spark集群中退出了。 请问有什么解决方案吗?
你意思捕获了异常就可以?
LinkSe7en 2016-07-08
  • 打赏
  • 举报
回复
异常处理啊。。。

1,261

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧