spark中累加器问题

ITqingliang 2017-10-26 08:50:15
我把累加器写在main方法中,就可以完美的算出答案,但是,我实现App特质时,每次运行的结果都不一样,是为什么呢?

import org.apache.spark.{SparkConf, SparkContext}

object AccumulatorDemo extends App{

val conf = new SparkConf().setAppName("AccumulatorDemo").setMaster("local
  • "
  • )
    val sc = new SparkContext(conf)
    val sum = sc.accumulator(0)
    val numbers = sc.parallelize(Array(1,2,3,4,5,6),2)
    numbers.foreach(num => sum+=num)
    println(sum)
    sc.stop()

    }
...全文
336 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

20,807

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧