hive、impala建表在hdfs上看所属用户问题

wjw870907 2019-02-12 04:53:29

无论我连接哪个DB，最后在hdfs查看新建的库或者表都是hdfs:hive 这样的权限，并且即使我把新建的库改成hive:hive,下面创建的表还是hdfs:hive，我检查了几个要点
1.hive和impala所属组都是自己，impala还属于hive
2.hdfs上mkdir建立出来的目录都是当前用户，即A用户创建就是a:supergroup
3./user/hive/warehouse 所属hive:hive, 在cdh上只继承父目录权限的，所以没问题
在这之前接手有问题的地方就是在NN上强行把export HADOOP_USER_NAME=hdfs了，这个已经注释，并且重启了NN
有大神知道这是为什么吗，我对比了一个全新的集群，也没有找到有相关配置被修改

...全文

737 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

wjw870907 2020-02-24

打赏
举报

回复

没有找到，环境重装了就好了

文儿哥 2020-02-19

打赏
举报

回复

兄弟，这个问题你解决了没有，求指点！

Impala provides fast, interactive SQL queries directly on your Apache Hadoop data stored in HDFS, HBase, or theAmazon Simple Storage Service (S3). In addition to using the same unified storage platform, Impala also uses thesame metadata, SQL syntax (Hive SQL), ODBC driver, and user interface (Impala query UI in Hue) as Apache Hive.This provides a familiar and unified platform for real-time or batch-oriented queries Impala支持对hadoop数据(Hbase\HDFS\S3)高效快速的SQL查询

Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由QueryPlanner、QueryCoordinator和QueryExecEngine三部分组成），可以直接从HDFS或HBase中用SELECT、JOIN和统计函数查询数据，从而大大降低了延迟。其架构如图1所示，Impala主要由Impalad，StateStore和CLI组成。图1Impalad:与DataNode运行在同一节点上，由Impalad进程表示，它接收

Hive不再是大数据技术生态圈中一个普通的工具，而是在大数据分析和大数据仓库中占据着几乎不可替代的重要作用，大数据分析中Hive和Hbase、Hive和Spark SQL、Hive和Impala的结合使用愈加紧密，大数据仓库中Hive在数据...

(一)Impala集群维护简介 PetImpalaabase集群主从节点启动的服务略有不同，其中主节点启动服务主要有：资源管理 Hadoop服务 Hive服务 Impala zookeeper-server hadoop-hdfs-namenode hive-metastore petabase-state-store hadoop-0.20-mapreduce-jobtracker hive-server2 Impala-catalog hadoop-0.20-mapreduce-tasktracker Impala-server

Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，Impala的最大特点也是最大卖点就是它的快速。

Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章