Spark DataFrame join函数问题JAVA语言版

其实我是真性情 2018-08-14 10:24:15
我现在生成了两个DataFrame 一个数据来自 Oracle,一个数据来自Hive
我现在想将两张表进行内连接,inner join
我是用JAVA语言实现的,之前的写法如下
dfHive.join(dfOracle,"vin").show();//这样是可以连接出来的
但是我想用内联的话需要使用3个参数的join
dfHive.join(dfOracle,这中间第2个参数需要一个Column里边的关联关系表达式应该怎么写,"inner").show();

我在网上搜到的都是scala版的,我想知道java版的表关联条件怎么写。谢谢
...全文
757 6 打赏 收藏 转发到动态 举报
写回复
用AI写文章
6 条回复
切换为时间正序
请发表友善的回复…
发表回复
  • 打赏
  • 举报
回复
自己贴出来省着自己以后忘了
  • 打赏
  • 举报
回复
引用 4 楼 一切都是命 的回复:
兄弟,要怎么写啊,Java版本的

df.join(dd,df.col("vin").equalTo(dd.col("VIN")),"left").show();

标红的就是表达式的写法
一切都是命 2018-10-19
  • 打赏
  • 举报
回复
兄弟,要怎么写啊,Java版本的
伱oO○祗噵 2018-08-15
  • 打赏
  • 举报
回复
好辣鸡啊啊啊
  • 打赏
  • 举报
回复
问题解决了,这个论坛现在是真的不行了
数据分析职业是一个多金的职业,数据分析职位是一个金饭碗的职位,前景美好,但是要全面掌握大数据分析技术,非常困难,大部分学员的痛点是不能快速找到入门要点,精准快速上手。本课程采用项目驱动的方式,以Spark3和Clickhouse技术为突破口,带领学员快速入门Spark3+Clickhouse数据分析,促使学员成为一名高效且优秀的大数据分析人才。学员通过本课程的学习,不仅可以掌握使用Python3进行Spark3数据分析,还会掌握利用Scala/java进行Spark数据分析,多语言并进,力求全面掌握;另外通过项目驱动,掌握Spark框架的精髓,教导Spark源码查看的技巧;会学到Spark性能优化的核心要点,成为企业急缺的数据分析人才;更会通过Clickhouse和Spark搭建OLAP引擎,使学员对大数据生态圈有一个更加全面的认识和能力的综合提升。真实的数据分析项目,学完即可拿来作为自己的项目经验,增加面试谈薪筹码。课程涉及内容:Ø  Spark内核原理(RDD、DataFrame、Dataset、Structed Stream、SparkML、SparkSQL)Ø  Spark离线数据分析(千万简历数据分析、雪花模型离线数仓构建)Ø  Spark特征处理及模型预测Ø  Spark实时数据分析(Structed Stream)原理及实战Ø  Spark+Hive构建离线数据仓库(数仓概念ODS/DWD/DWS/ADS)Ø  Clickhouse核心原理及实战Ø  Clickhouse engine详解Ø  Spark向Clickhouse导入简历数据,进行数据聚合分析Ø  catboost训练房价预测机器学习模型Ø  基于Clickhouse构建机器学习模型利用SQL进行房价预测Ø  Clickhouse集群监控,Nginx反向代理Grafana+Prometheus+Clickhouse+node_exporterØ  Spark性能优化Ø  Spark工程师面试宝典       课程组件:集群监控:福利:本课程凡是消费满359的学员,一律送出价值109元的实体书籍.

1,258

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧