请教hadoop自定义计数器的一个问题

weixin_49110864 2021-04-23 05:04:34
我有一个hadoop任务,在reduce阶段设置了多个reducer,然后自定义了一个counter想对多个reducer的结果汇总后求和,但每个reducer的结果是浮点数,而conuter的increment方法只支持long型整数的运算,如果强制转换的话会导致精度丢失,请问该怎么解决?感谢大佬的解答!
...全文
1018 5 打赏 收藏 转发到动态 举报
写回复
用AI写文章
5 条回复
切换为时间正序
请发表友善的回复…
发表回复
wula0010 2021-06-12
  • 打赏
  • 举报
回复

汇总后求和,这个不是应该在reduce里完成么?counter的意思是计数,计数当然是整数了........

weixin_49110864 2021-06-13
  • 举报
回复
@wula0010 我是想把每个reducer的结果再进行汇总求和
weixin_49110864 2021-04-24
  • 打赏
  • 举报
回复
难道是我点数设的太少没有大佬愿意回答吗
weixin_49110864 2021-04-24
  • 打赏
  • 举报
回复
AI_Maynor 2021-04-24
  • 打赏
  • 举报
回复
发张图看的清楚些

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧