社区
Hadoop生态社区
帖子详情
hive执行select count,报OutOfMemoryError(PermGen space)
程序猿zy
2017-08-22 10:47:03
本机虚拟机装了hive,内存为8G,从一个只有一条记录的表中查询记录数,一直报内存溢出的错误,在网上搜了很多方法都没用,改过hadoop配置文件中的HADOOP_CLIENT_OPTS的值,改过java的环境变量JAVA_OPTS,还在执行语句时设定了mapreduce.map.memory.mb和mapreduce.reduce.memory.mb的值,都没能解决,刚开始接触hive,还望各位帮帮忙。
报错日志如下:
...全文
467
4
打赏
收藏
hive执行select count,报OutOfMemoryError(PermGen space)
本机虚拟机装了hive,内存为8G,从一个只有一条记录的表中查询记录数,一直报内存溢出的错误,在网上搜了很多方法都没用,改过hadoop配置文件中的HADOOP_CLIENT_OPTS的值,改过java的环境变量JAVA_OPTS,还在执行语句时设定了mapreduce.map.memory.mb和mapreduce.reduce.memory.mb的值,都没能解决,刚开始接触hive,还望各位帮帮忙。 报错日志如下:
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
4 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
siwluxuefeng
2017-08-31
打赏
举报
回复
设置内存,工作时遇到过,直接设置内存参数
果丶果
2017-08-30
打赏
举报
回复
1
hadoop默认的一个RM都要分配8G内存,你本机8G,虚拟机肯定配置跟不上,我当初这是这样的,更改hadoop内存分配相关配置就可以了
tzq_Engineer
2017-08-23
打赏
举报
回复
一般内存溢出,重启下你的yarn集群和hive服务就会没事,也可能是你的操作对象的问题,执行下其他的语句试下
hive
count
(*)from table
报
错解决办法发
我的环境是: centos_7.05的操作系统 hadoop-2.8.3 ...来看启动集群后启动
hive
的
hive
rserver2的客户端后,测试连接
hive
; 在master的主节点上 在
hive
/bin/./
hive
server2 复制master的新会话窗口...
使用
Hive
SQL计算数列统计值
上一篇中咱们介绍了使用Excel和Python计算统计值,这次咱们使用
Hive
来计算统计值。先来回顾一下数据和对应的统计结果:这里咱们使用的是iris分...
大数据最佳实践-
hive
从
Hive
的角度看,小文件会开很多map,一个map开一个JVM去
执行
,所以这些任务的初始化,启动,
执行
会浪费大量的资源,严重影响性能。 HDFS存储太多小文件, 会导致namenode元数据特别大, 占用太多内存, 制约了集群的...
数据分析EPHS(5)-使用
Hive
SQL计算数列统计值
上一篇中咱们介绍了使用Excel和Python计算统计值,这次咱们使用
Hive
来计算统计值。先来回顾一下数据和对应的统计结果:这里咱们使用的是iris分类数据集,数据下载...
大数据教程(11.6)hadoop2.9.1平台上仓库工具
hive
2.3.4搭建
<description>Local scratch
space
for
Hive
jobs #替换为 <name>
hive
.exec.local.scratchdir <value>/home/hadoop/apps/apache-
hive
-2.3.4-bin/tmp/hadoop <description>Local scratch
space
for
Hive
jobs ...
Hadoop生态社区
20,808
社区成员
4,690
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章