社区
Spark
帖子详情
请问各位大神,sparkStreaming有没有updateState这样的方法类似spark中的reduce(不通过key分组)?
weixin_41046432
2017-11-21 12:38:03
现在有一组数据数据(K,V),我想用sparkStream实现更新累加的功能,同时对k和v都做累加
但是发现sparkStreaming中只有updateStateBykey(与spark中reduceByKey对应),但是没有与spark中的reduce方法相对应的
请问各位大神有什么方便的解法,不用重新map数据。
...全文
287
1
打赏
收藏
请问各位大神,sparkStreaming有没有updateState这样的方法类似spark中的reduce(不通过key分组)?
现在有一组数据数据(K,V),我想用sparkStream实现更新累加的功能,同时对k和v都做累加 但是发现sparkStreaming中只有updateStateBykey(与spark中reduceByKey对应),但是没有与spark中的reduce方法相对应的 请问各位大神有什么方便的解法,不用重新map数据。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
1 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
赵4老师
2017-11-21
打赏
举报
回复
提醒:sparkStreaming是开源的。
第114课:
Spark
Streaming
+Kafka+
Spark
SQL+TopN+Mysql+KafkaOffsetMonitor电商广告点击综合案例实战(详细内幕版本)
第114课:
Spark
Streaming
电商广告点击综合案例实战(测试版本) /* 王家林老师授课http://weibo.com/ilovepains 每天晚上20:00YY频道现场授课频道68917580*/... 综合案例的实战我们分步进行: 1.Mysql
中
建立表 :
实时统计每天pv,uv的
spark
Streaming
结合redis结果存入mysql供前端展示
最近有个需求,实时统计pv,uv,结果按照date,hour,pv,uv来展示,当然了实际还需要按照类型字段分类统计pv,uv,比如按照date,hour,pv,uv,type来展示。这里介绍最基本的pv,uv的展示。 id uv pv date hour ...
Spark
面试题及其答案
答:
spark
通过这个参数
spark
.deploy.zookeeper.dir指定master元数据在zookeeper
中
保存的位置,包括Worker,Driver和Application以及Executors。standby节点要从zk
中
,获得元数据信息,恢复集群运行状态,才能对外...
Spark
面试题、答案
答:
spark
通过这个参数
spark
.deploy.zookeeper.dir指定master元数据在zookeeper
中
保存的位置,包括Worker,Driver和Application以及Executors。standby节点要从zk
中
,获得元数据信息,恢复集群运行状态,才能对外...
Spark
面试题修改版本
答:
spark
通过这个参数
spark
.deploy.zookeeper.dir指定master元数据在zookeeper
中
保存的位置,包括Worker,Driver和Application以及Executors。 standby节点要从zk
中
,获得元数据信息,恢复集群运行状态...
Spark
1,258
社区成员
1,168
社区内容
发帖
与我相关
我的任务
Spark
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
复制链接
扫一扫
分享
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章