请问各位大神,sparkStreaming有没有updateState这样的方法类似spark中的reduce(不通过key分组)?

weixin_41046432 2017-11-21 12:38:03
现在有一组数据数据(K,V),我想用sparkStream实现更新累加的功能,同时对k和v都做累加
但是发现sparkStreaming中只有updateStateBykey(与spark中reduceByKey对应),但是没有与spark中的reduce方法相对应的
请问各位大神有什么方便的解法,不用重新map数据。
...全文
287 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
赵4老师 2017-11-21
  • 打赏
  • 举报
回复
提醒:sparkStreaming是开源的。

1,258

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧