社区
Hadoop生态社区
帖子详情
hive执行select count,报OutOfMemoryError(PermGen space)
程序猿zy
2017-08-22 10:47:03
本机虚拟机装了hive,内存为8G,从一个只有一条记录的表中查询记录数,一直报内存溢出的错误,在网上搜了很多方法都没用,改过hadoop配置文件中的HADOOP_CLIENT_OPTS的值,改过java的环境变量JAVA_OPTS,还在执行语句时设定了mapreduce.map.memory.mb和mapreduce.reduce.memory.mb的值,都没能解决,刚开始接触hive,还望各位帮帮忙。
报错日志如下:
...全文
466
4
打赏
收藏
hive执行select count,报OutOfMemoryError(PermGen space)
本机虚拟机装了hive,内存为8G,从一个只有一条记录的表中查询记录数,一直报内存溢出的错误,在网上搜了很多方法都没用,改过hadoop配置文件中的HADOOP_CLIENT_OPTS的值,改过java的环境变量JAVA_OPTS,还在执行语句时设定了mapreduce.map.memory.mb和mapreduce.reduce.memory.mb的值,都没能解决,刚开始接触hive,还望各位帮帮忙。 报错日志如下:
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
4 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
siwluxuefeng
2017-08-31
打赏
举报
回复
设置内存,工作时遇到过,直接设置内存参数
果丶果
2017-08-30
打赏
举报
回复
1
hadoop默认的一个RM都要分配8G内存,你本机8G,虚拟机肯定配置跟不上,我当初这是这样的,更改hadoop内存分配相关配置就可以了
tzq_Engineer
2017-08-23
打赏
举报
回复
一般内存溢出,重启下你的yarn集群和hive服务就会没事,也可能是你的操作对象的问题,执行下其他的语句试下
大数据
Hive
on MR/TEZ与hadoop的整合应用
本课程主要介绍
hive
的架构与应用,首先介绍了
hive
的实现结构,然后介绍了
Hive
Metastore三种模式,接着重点介绍
hive
的安装与配置,以及
hive
sql的基本操作,后面又介绍了
hive
beeline、
hive
on tez的使用,并测试了
hive
on MR和TEZ的性能优缺。本课程以apache hadoop发行版本为例,介绍如何实现hadoop与
hive
的整合,hadoop环境采用手动安装的hadoop3.2.1环境,
hive
版本同样采用apache
hive
3.1.2发行版本。以3台主机为例作为
hive
安装环境,采用Centos7.7操作系统。课程大纲如下: 1、
hive
的架构与应用场景2、
Hive
Metastore三种运行模式3、
hive
安装以及与hadoop整合4、
hive
的安装与配置5、启动metastore与
hive
server2服务 6、
hive
常用SQL操作7、beeline的使用8、tez的编译以及tez与
hive
整合步骤9、测试tez功能以及与MR性能比较
hive
count
(*)from table
报
错解决办法发
我的环境是: centos_7.05的操作系统 hadoop-2.8.3
hive
-1.2.1 jdk-1.8 配置集群用的内网和外网结合,关键就在这里,阿里云的公网ip和私网ip相结合太坑了,切记别混搭。 来看启动集群后启动
hive
的
hive
rserver2的客户端后,测试连接
hive
; 在master的主节点上 在
hive
/bin/./
hive
server2 复制master的新会话窗口...
使用
Hive
SQL计算数列统计值
上一篇中咱们介绍了使用Excel和Python计算统计值,这次咱们使用
Hive
来计算统计值。先来回顾一下数据和对应的统计结果:这里咱们使用的是iris分...
大数据最佳实践-
hive
目录小文件问题 小文件问题 一、哪里会产生小文件 ? 源数据本身有很多小文件 动态分区会产生大量小文件 reduce个数越多, 小文件越多 按分区插入数据的时候会产生大量的小文件, 文件个数 = maptask个数 * 分区数 二、影响 从
Hive
的角度看,小文件会开很多map,一个map开一个JVM去
执行
,所以这些任务的初始化,启动,
执行
会浪费大量的资源,严重影响性能。 HDFS存储太多小文件, 会导致namenode元数据特别大, 占用太多内存, 制约了集群的扩展。 三、解决方法 方法一:通过调整参数进
数据分析EPHS(5)-使用
Hive
SQL计算数列统计值
上一篇中咱们介绍了使用Excel和Python计算统计值,这次咱们使用
Hive
来计算统计值。先来回顾一下数据和对应的统计结果:这里咱们使用的是iris分类数据集,数据下载...
Hadoop生态社区
20,807
社区成员
4,690
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章