spark sql select count(1) from tableName 执行原理

[Container123]

spark sql中select count(1) from tableName 每个map任务会把分区内数据都加载进来执行count，还是一条条遍历执行count?

除了shuffle，该sql还在哪个阶段会造成内存溢出呢？

大神留步指导一下。

[飞向海洋的猪]

@fish810423 ？机器人吗？

[fish810423]

@飞向海洋的猪 水电费水电费

[飞向海洋的猪]

应该是将所有得数据都加载到内存中进行count计算得。

[Container123]

，仔细想了一下，如果一条条读取，io浪费很严重，多谢指导

[飞向海洋的猪]

sparksql底层还是依据RDD来进行操作的，可以理解为最终sql中count 会演变为 RDD.count()， 而RDD.count()中实现将每个分区中的元素进行统计，再进行sum

def count(): Long = sc.runJob(this, Utils.getIteratorSize _).sum

，而RDD每个分区的计算就是将元素直接纳入内存进行统计。