社区
数据仓库
帖子详情
spark操作hive问题
Eymecoo
2019-09-19 09:13:54
最近接到一个任务,是把一个hive表关联多个其他表再生成一个通用表,sql我是写好了。
上面要求我用spark写出来,请问如何用spark sql实现?
我用的是scala for eclipse编辑器写的,但是我测试代码就是无法连入到服务器上的hive。
我不知道这个连接要怎么连,代码外是不是还要配很多环境?
...全文
87
2
打赏
收藏
spark操作hive问题
最近接到一个任务,是把一个hive表关联多个其他表再生成一个通用表,sql我是写好了。 上面要求我用spark写出来,请问如何用spark sql实现? 我用的是scala for eclipse编辑器写的,但是我测试代码就是无法连入到服务器上的hive。 我不知道这个连接要怎么连,代码外是不是还要配很多环境?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
2 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
lidh5201314
2019-12-26
打赏
举报
回复
直接在命令行调用 运行spark-shell scala> import org.apache.spark.sql.SQLContext scala> val sqlContext = new SQLContext(sc) scala> val res = sqlContext.sql("select current_date") scala> res.show()
zx_love
2019-09-20
打赏
举报
回复
用spark sql的话,可以直接读hive存放在hdfs上的原始数据,读进数据,然后注册成内存表,再执行sql,结果数据存放到hdfs,然后基于结果数据建立你的结果hive表
Spark
on
Hive
和
Hive
on
Spark
的区别与实现
这里可以理解为
Spark
通过
Spark
SQL 使用
Hive
语句
操作
Hive
表 ,底层运行的还是
Spark
RDD。具体步骤如下:【总结】
Spark
使用
Hive
来提供表的metadata信息。
Hive
on
Spark
是
Hive
既作为存储又负责sql的解析优化,
Spark
...
Hive
on
Spark
VS
Spark
on
Hive
Hive
on
Spark
VS
Spark
on
Hive
两者概述
Hive
on
Spark
Hive
on
Spark
是由Cloudera发起,由Intel、MapR等公司共同参与的开源项目,其目的是把
Spark
作为
Hive
的一个计算引擎,将
Hive
的查询作为
Spark
的任务提交到...
spark
on
hive
&
hive
on
spark
的区别
spark
on
hive
: 是
spark
通过
spark
-sql 使用
hive
语句
操作
hive
,底层运行的还是
spark
rdd. *(1)就是通过
spark
sql,加载
hive
的配置文件,获取到
hive
的元数据信息 * (2)
spark
sql获取到
hive
的元数据信息之后就...
idea中
Spark
操作
Hive
idea中
Spark
操作
Hive
Spark
操作
Hive
分区表
Spark
操作
Hive
表可谓是异常的方便和简单,这里根据官网简单的总结一下
Spark
操作
Hive
分区表 完美的处理处理方式 // 开启
Hive
动态分区
spark
.sqlContext.setConf("
hive
.exec.dynamic.partition", "true")
spark
....
数据仓库
7,388
社区成员
6,742
社区内容
发帖
与我相关
我的任务
数据仓库
其他数据库开发 数据仓库
复制链接
扫一扫
分享
社区描述
其他数据库开发 数据仓库
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章