Spark streaming +kafka 任务阻塞

小凶許 2019-01-15 03:59:48


任务运行一段时间后就自己阻塞了,求高手解答
...全文
169 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
4qw 2019-01-15
  • 打赏
  • 举报
回复
最大原因就是你获取到消息后,后续的那些处理步骤处理异常,如果是存储数据库,可能是频繁连接数据库,
或者之前的连接在完成后未能够断开,导致连接数超过最大数量;总之主要原因是消息处理那部分;要么就
那部分的处理复杂等造成超过间隔时间;

1,261

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧