我想把一个spark dataframe内的数据与另一个dataframe比较大小，然后筛选出结果，请问我应该使用什么函数？求大神解答，感觉很简单

ouaimu 2018-10-26 03:11:57

...全文

744 2 打赏收藏转发到动态举报

写回复

用AI写文章

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

蹩脚法师 2018-11-05

打赏
举报

如果我理解的没错的话，这样可以做，但需要保证两个df内的分片数和每个分片内的数据个数一样。

f1.rdd.zip(df2.rdd).map{case Tuple2(row1, row2) =>
        val data1 = row1.getInt(0)
        val data2 = row1.getInt(0)
        data1 > data2
    }
      .filter(_)

蹩脚法师 2018-11-05

打赏
举报

是df1第n条和df2中第n条比较吗?，df1和df2数据量相同吗

函数后面，通常用来用作条件判断，跟when函数进行结合，when相当于if，otherwise相当于else，例：我需要判断两个值那个大，如果第一个值更大就返回大，如果小就返回小，如果相等就返回相等。启用Hive支持，包括连接到持久的HIve metastore，支持Hive serdes和Hive用户定义函数，如果不启用hive支持，spark是找不到hive中的表的。聚合函数：返回具有重复对象的列表，注意：该函数是不确定的，因为收集结果的顺序取决于行顺序，而行顺序在shuffle后可能是不确定的。

spark dataframe派生于RDD类，但是提供了非常强大的数据操作功能。当然主要对类SQL的支持。在实际工作中会遇到这样的情况，主要是会进行两个数据集的筛选、合并，重新入库。首先加载数据集，然后在提取数据集的前几行过程中，才找到limit的函数。而合并就用到union函数，重新入库，就是registerTemple注册成表，再进行写入到HIVE中。不得不赞叹datafram...

Spark DataFrame 列的合并与拆分版本说明：Spark-2.3.0 使用Spark SQL在对数据进行处理的过程中，可能会遇到对一列数据拆分为多列，或者把多列数据合并为一列。这里记录一下目前想到的对DataFrame列数据进行合并和拆分的几种方法。 1 DataFrame列数据的合并例如：我们有如下数据，想要将三列数据合并为一列，并以“,”分割 +----...

DataFrame是一种分布式数据集，它以表格形式组织数据，每一列都有名称和数据类型。DataFrame是强类型的，这意味着它可以在编译时捕获错误，提供更好的类型安全性。可以将DataFrame视为关系型数据库表或Excel表格，但它具有分布式计算的能力。Spark中的DataFrame是一个强大的工具，用于处理结构化数据，并提供了丰富的数据转换和操作功能。本文深入探讨了DataFrame的基本概念、数据加载、数据筛选、列选择、数据聚合、数据连接、窗口函数、数据保存以及性能优化和注意事项等方面的内容。

DataFrame 的函数Action 操作 1、 collect() ,返回值是一个数组，返回dataframe集合所有的行 2、 collectAsList() 返回值是一个Java类型的数组，返回dataframe集合所有的行 3、 count() 返回一个number类型的，返回dataframe集合的行数 4、 describe(cols: String*) 返回一个通过数学计算的类表值(count, mean, stddev, min, and max)，这个可以传多个参数，中间用逗号分隔，如果

Spark

1,275

社区成员

1,171

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章