Spark
rdd.collect()返回错误的值
墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网
我也要 关注 + 加入社区
val rightrdd=rightplan.execute()
rightrdd.saveAsTextFile("cd")
val result=rightrdd.collect()
rightplan是一个sparkplan,cd内为正确结果:
[0,1,2ef6513285,2ef6513287,2800000001,30]
[0,1,2ef6513286,2ef651328c,2800000001,31]
[0,1,2ef6513287,2ef651328f,2800000001,32]
[0,1,2ef6513288,2ef651328e,2800000001,33]
[0,1,2ef651328a,2ef651328e,2800000001,34]
[0,1,2ef651328c,2ef651328e,2800000001,35]
result得到错误结果:
why?
...全文
相关推荐
spark API RDD
常见的行动操作包括count、collect、reduce、take、top等。例如，count操作会计算RDD中的元素数量，collect操作会将RDD中的数据收集到驱动程序中。
rdd之collect之无参数和有参数模式
collect()无参数 collect(偏函数) // 有参数 偏函数,模式匹配 ----- // spark 2.3.1 val spark = SparkSession.builder().master("local[2]").appName("yy1").getOrCreate() val sc = spark.sparkContext val rdd1:...
spark-rdd-sample1
`count()`返回RDD的元素数量，`collect()`将RDD内容返回到驱动程序，而`saveAsTextFile()`将结果保存到文件系统。
hbase-rdd：Spark RDD从HBase读取，写入和删除
RDD 支持两种主要的操作：转换（Transformations）和动作（Actions）。转换创建新的 RDD，而动作触发计算并可能返回结果或写入数据到外部存储。
RDD：偶然推断RDD复制
这意味着所有对RDD的操作都会创建一个新的RDD，而原始RDD保持不变。这种设计提高了并行计算的安全性，避免了并发修改导致的错误。2.
