spark操作hive问题

Eymecoo 2019-09-19 09:13:54
最近接到一个任务,是把一个hive表关联多个其他表再生成一个通用表,sql我是写好了。
上面要求我用spark写出来,请问如何用spark sql实现?
我用的是scala for eclipse编辑器写的,但是我测试代码就是无法连入到服务器上的hive。
我不知道这个连接要怎么连,代码外是不是还要配很多环境?
...全文
87 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
lidh5201314 2019-12-26
  • 打赏
  • 举报
回复
直接在命令行调用 运行spark-shell scala> import org.apache.spark.sql.SQLContext scala> val sqlContext = new SQLContext(sc) scala> val res = sqlContext.sql("select current_date") scala> res.show()
zx_love 2019-09-20
  • 打赏
  • 举报
回复
用spark sql的话,可以直接读hive存放在hdfs上的原始数据,读进数据,然后注册成内存表,再执行sql,结果数据存放到hdfs,然后基于结果数据建立你的结果hive表

7,388

社区成员

发帖
与我相关
我的任务
社区描述
其他数据库开发 数据仓库
社区管理员
  • 数据仓库
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧