Ambari 查看spark 运行日志报错.

飞过海啊lsq 2019-05-15 02:12:15

错误如下所示：

User [dr.who] is not authorized to view the logs for container_e23_1552456635186_0060_02_000001 in log file [hbasenode2_45454]
Unable to locate 'stdout' log for container container_e23_1552456635186_0060_02_000001

按照网上设置无效。
Ambari > HDFS > Configurations > Advanced core-site > Add Property hadoop.http.staticuser.user=yarn

...全文

334 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

4qw 2019-05-16

打赏
举报

回复

这个要根据yarn是在哪个linux用户下启动进程的，你修改为相应的用户名就行。

1、Linux系统环境配置 1.1 配置IP地址 vim /etc/sysconfig/network-script/ifcfg-eth0 “DEVICE”：网卡对应的设备别名，如ifcfg-eth0第一块网卡； “HWADDR”：网卡物理地址； “BOOTPROTO”：网卡获得ip地址的方式，Static（静态 ip地址）dhcp（通过dhcp协议获取ip）bootip通过boot...

5.在安装的时候遇到的问题 5.1使用ambari-server start的时候出现ERROR: Exiting with exit code -1. 5.1.1REASON: Ambari Server java process died with exitcode 255. Check /var/log/ambari-server/ambari-server.out for m...

5.在安装的时候遇到的问题 5.1使用ambari-server start的时候出现ERROR: Exiting with exit code -1. 5.1.1REASON: Ambari Server java process died with exitcode 255. Check /var/log/ambari-server/ambari-server.out for mo

一.背景介绍大家都知道spark在2.x之后实现了一系列更方便快捷的改进，spark目前社区已经更新到了2.3.1版本，笔者发现spark在2.2.x版本之后，对于spark-ml的功能有显著增强。而笔者用的大数据实验环境是基于Ambari搭建的，版本为2.2.2，对应采用的HDP的版本为2.4.x。笔者杯具的发现，这个版本对于spark2.x还不能完全支持，自然就无法使用spark2.x以后...

1.说明之前整理过一篇类似文章，但是这个spark.yarn.jar配置的目录最好只是放spark jars目录下的jar包，如果放入其他的jar包，很大概率会有冲突，而且如果项目比较多，jar包引入的内容版本不尽相同，也不太利于管理。题主这里有一个spark的分析项目，引入了很多依赖，如果只是配置了spark.yarn.jars,上传jar包的过程仍然很慢，所以还是需要把项目的依赖jar包上传到HDFS,经过查阅资料和翻查官网，发现了application-jar , --jars 都是即可以使用本地也

Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章