对hive的表用beeline操作没问题，用spark-shell访问就报错

weg910 2017-09-04 11:18:48

我要查询和创建hive表，在beeline下执行完全成功，但是用spark-shell的方式就有问题，求大神们指教

beeline下执行的结果：

在spark-shell命令模式下执行的结果：

请问是spark-shell 里sqlContext.sql("") 和beeline访问hive表的读取配置不同，还是什么权限没有设置对啊？
ps：环境是华为的FusionInsight大数据产品

...全文

405 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

weg910 2017-09-05

打赏
举报

回复

自己顶一下啊

大数据大数据学习路线大数据技术栈思维导图大数据常用软件安装指南一、Hadoop 分布式文件存储系统 —— HDFS 分布式计算框架 —— MapReduce 集群资源管理器 —— YARN Hadoop 单机伪集群环境搭建 Hadoop 集群环境搭建 HDFS 常用 Shell 命令 HDFS Java API 的使用基于 Zookeeper 搭建 Hadoop 高可用集群二、Hive Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 Hive CLI 和 Beeline 命令行的基本使用 Hive 常用 DDL 操作 Hive 分区表和分桶表 Hive 视图和索引 Hive 常用 DML 操作 Hive 数据查询详解三、Spark Spark Core : Spark 简介 Spark 开发环境搭建弹性式数据集 RDD RDD 常用算子详解 Spark 运行模式与作业提交 Spark 累加器与广播变量基于 Zookeeper 搭建 Spark 高可用集群 Spark SQL :

大数据学习路线大数据技术栈思维导图大数据常用软件安装指南包括Hadoop、Hive、Spark、Storm、Flink、HBase、Kafka、Zookeeper、Flume、Sqoop等技术的学习 Hadoop 分布式文件存储系统 —— HDFS 分布式计算框架 —— MapReduce 集群资源管理器 —— YARN Hadoop 单机伪集群环境搭建 Hadoop 集群环境搭建 HDFS 常用 Shell 命令 HDFS Java API 的使用基于 Zookeeper 搭建 Hadoop 高可用集群 Hive Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 Hive CLI 和 Beeline 命令行的基本使用 Hive 常用 DDL 操作 Hive 分区表和分桶表 Hive 视图和索引 Hive 常用 DML 操作 Hive 数据查询详解 Spark、Storm、Flink、HBase、Kafka、Zookeeper、Flume、Sqoop等技术的学习

前言大数据学习路线大数据技术栈思维导图大数据常用软件安装指南一、Hadoop 分散文件存储系统 —— HDFS 多元计算框架——MapReduce 集群资源管理器 —— YARN Hadoop单机伪集群环境搭建 Hadoop 云服务环境搭建 HDFS使用Shell命令 HDFS Java API的使用基于Zookeeper搭建Hadoop高可用服务二、蜂巢 Hive简介及核心概念 Linux环境下Hive的安装配置 Hive CLI 和 Beeline 命令行的基本使用 Hive 使用 DDL 操作 Hive 分区表和分区表 Hive 视图和索引 Hive 使用 DML 操作 Hive数据详细查询解三、火花火花核心：斯帕克简介 Spark开发环境搭建弹性式数据集 RDD RDD使用算子详解 Spark运行模式与作业提交 Spark 累加器与广播信号基于Zookeeper搭建Spark高可用服务火花 SQL：日期帧和数据集结构化API的基本使用 Spark SQL 外部数据源 Spark SQL常用聚合函数 Spark SQL JOIN 操作火花流：

前言大数据学习路线大数据技术栈思维导图大数据常用软件安装指南一、Hadoop 分布式文件存储系统：HDFS 分布式计算框架：MapReduce 集群资源管理器：YARN 单机伪集群环境搭建集群环境搭建常用 Shell 命令 Java API 的使用基于 Zookeeper 搭建 Hadoop 高可用集群二、Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用常用 DDL 操作分区表和分桶表视图和索引常用 DML 操作数据查询详解三、Spark Spark Core Spark SQL Spark Streaming 五、Flink 核心概念综述开发环境搭建 Data Source Data Transformation Data Sink 窗口模型状态管理与检查点机制 Standalone 集群部署六、HBase 简介系统架构及数据结构基本环境搭建集群环境搭建常用 Shell 命令 Java API 过滤器详解可显示字数有限，详细内容请看资源。

大数据培训资料库设定表 hdfs dfs -mkdir -p /tmp/hivedemo/ cd big_data_training hdfs dfs -put -f data /tmp/hivedemo/ beeline -u "jdbc:hive2://localhost:10000" -f data/setup_tables.sql 练习题： /蜂巢SQL ：如何用Java或Python编写 udf Spark API：Spark Scala / Shell 齐柏林飞艇：笔记本数据：更多样本数据其他

Hadoop生态社区

20,811

社区成员

4,691

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章