-
本版专家分：0结帖率 84.21% -
小弟最近在整合kerberos+hadoop，启动hadoop发现报错如下：
14/04/04 22:40:15 INFO http.HttpServer: Jetty bound to port 50070
14/04/04 22:40:15 INFO mortbay.log: jetty-6.1.26
14/04/04 22:40:15 INFO server.KerberosAuthenticationHandler: Login using keytab /etc/security/keytabs/hdfs.keytab, for principal ${dfs.web.authentication.kerberos.principal}
14/04/04 22:40:15 WARN mortbay.log: failed SpnegoFilter: javax.servlet.ServletException: javax.security.auth.login.LoginException: Unable to obtain password from user
14/04/04 22:40:15 WARN mortbay.log: Failed startup of context org.mortbay.jetty.webapp.WebAppContext@10d4f27{/,file:/workarea/hadoop-2.2.0/share/hadoop/hdfs/webapps/hdfs}
javax.servlet.ServletException: javax.security.auth.login.LoginException: Unable to obtain password from user
at org.apache.hadoop.security.authentication.server.KerberosAuthenticationHandler.init(KerberosAuthenticationHandler.java:203)
at org.apache.hadoop.security.authentication.server.AuthenticationFilter.init(AuthenticationFilter.java:146)
at org.mortbay.jetty.servlet.FilterHolder.doStart(FilterHolder.java:97)
at org.mortbay.component.AbstractLifeCycle.start(AbstractLifeCycle.java:50)
at org.mortbay.jetty.servlet.ServletHandler.initialize(ServletHandler.java:713)
at org.mortbay.jetty.servlet.Context.startContext(Context.java:140)
at org.mortbay.jetty.webapp.WebAppContext.startContext(WebAppContext.java:1282)
at org.mortbay.jetty.handler.ContextHandler.doStart(ContextHandler.java:518)
at org.mortbay.jetty.webapp.WebAppContext.doStart(WebAppContext.java:499)
at org.mortbay.component.AbstractLifeCycle.start(AbstractLifeCycle.java:50)
at org.mortbay.jetty.handler.HandlerCollection.doStart(HandlerCollection.java:152)
at org.mortbay.jetty.handler.ContextHandlerCollection.doStart(ContextHandlerCollection.java:156)
at org.mortbay.component.AbstractLifeCycle.start(AbstractLifeCycle.java:50)
at org.mortbay.jetty.handler.HandlerWrapper.doStart(HandlerWrapper.java:130)
at org.mortbay.jetty.Server.doStart(Server.java:224)
at org.mortbay.component.AbstractLifeCycle.start(AbstractLifeCycle.java:50)
at org.apache.hadoop.http.HttpServer.start(HttpServer.java:688)
at org.apache.hadoop.hdfs.server.namenode.NameNodeHttpServer.start(NameNodeHttpServer.java:153)
at org.apache.hadoop.hdfs.server.namenode.NameNode.startHttpServer(NameNode.java:626)
at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:488)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:684)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:669)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1254)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1320)
……
14/04/04 22:40:15 INFO mortbay.log: Started SelectChannelConnector@0.0.0.0:50070
14/04/04 22:40:15 INFO mortbay.log: Stopped SelectChannelConnector@0.0.0.0:50070
14/04/04 22:40:15 INFO impl.MetricsSystemImpl: Stopping NameNode metrics system...
14/04/04 22:40:15 INFO impl.MetricsSystemImpl: NameNode metrics system stopped.
14/04/04 22:40:15 INFO impl.MetricsSystemImpl: NameNode metrics system shutdown complete.
14/04/04 22:40:15 FATAL namenode.NameNode: Exception in namenode join
java.io.IOException: Unable to initialize WebAppContext
at org.apache.hadoop.http.HttpServer.start(HttpServer.java:710)
at org.apache.hadoop.hdfs.server.namenode.NameNodeHttpServer.start(NameNodeHttpServer.java:153)
at org.apache.hadoop.hdfs.server.namenode.NameNode.startHttpServer(NameNode.java:626)
at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:488)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:684)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:669)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1254)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1320)
Caused by: javax.servlet.ServletException: javax.security.auth.login.LoginException: Unable to obtain password from user
at org.apache.hadoop.security.authentication.server.KerberosAuthenticationHandler.init(KerberosAuthenticationHandler.java:203)
at org.apache.hadoop.security.authentication.server.AuthenticationFilter.init(AuthenticationFilter.java:146)
at org.mortbay.jetty.servlet.FilterHolder.doStart(FilterHolder.java:97)
at org.mortbay.component.AbstractLifeCycle.start(AbstractLifeCycle.java:50)
at org.mortbay.jetty.servlet.ServletHandler.initialize(ServletHandler.java:713)
at org.mortbay.jetty.servlet.Context.startContext(Context.java:140)
at org.mortbay.jetty.webapp.WebAppContext.startContext(WebAppContext.java:1282)
at org.mortbay.jetty.handler.ContextHandler.doStart(ContextHandler.java:518)
at org.mortbay.jetty.webapp.WebAppContext.doStart(WebAppContext.java:499)
at org.mortbay.component.AbstractLifeCycle.start(AbstractLifeCycle.java:50)
at org.mortbay.jetty.handler.HandlerCollection.doStart(HandlerCollection.java:152)
at org.mortbay.jetty.handler.ContextHandlerCollection.doStart(ContextHandlerCollection.java:156)
at org.mortbay.component.AbstractLifeCycle.start(AbstractLifeCycle.java:50)
at org.mortbay.jetty.handler.HandlerWrapper.doStart(HandlerWrapper.java:130)
at org.mortbay.jetty.Server.doStart(Server.java:224)
at org.mortbay.component.AbstractLifeCycle.start(AbstractLifeCycle.java:50)
at org.apache.hadoop.http.HttpServer.start(HttpServer.java:688)
... 7 more
……
14/04/04 22:40:15 INFO util.ExitUtil: Exiting with status 1
14/04/04 22:40:15 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at k01/172.17.40.250
************************************************************/
-
本版专家分：0
-
求助，别沉了
-
本版专家分：0
-
大湿来帮忙呀
-
本版专家分：0
-
javax.security.auth.login.loginexception：无法获取密码？？
root用户用useradd加个普通用户提示：useradd: unable to open password file。
普通用户su root提示：密码错（我可以肯定密码是对了）。
解决办法：
1.首先检查下面四个文件是否加了权限保护
[root@203 etc]# lsattr /etc/passwd
------------- /etc/passwd
[root@203 etc]# lsattr /etc/shadow
----i-------- /etc/shadow
[root@203 etc]# lsattr /etc/gshadow
------------- /etc/gshadow
[root@203 etc]# lsattr /etc/group
----i-------- /etc/group
从结果来看/etc/shadow 和 /etc/group都加了保护。下一步就是去除保护
2.删除文件保护
[root@203 etc]# chattr -i /etc/shadow
[root@203 etc]# lsattr /etc/shadow
------------- /etc/shadow
[root@203 etc]# chattr -i /etc/group
[root@203 etc]# lsattr /etc/group
------------- /etc/group
3.添加用户试试
[root@203 etc]# useradd huangf
[root@203 etc]# passwd huangf
Changing password for user huangf.
New UNIX password:
BAD PASSWORD: it is too simplistic/systematic
Retype new UNIX password:
passwd: all authentication tokens updated successfully.
添加用户成功了！！！！！
-
本版专家分：0
-
发现在这个板块沉不了~~~Caused by: javax.security.auth.login.LoginException: unable to find LoginModule class: com.ibm.secur 首先说下出现这个错误的环境配置吧：aix小型机安装tomcat，（配有ibm专有的jdk,1.6），hadoop(1.0.4)集群，linux：redhat，jdk是oracle的1.6。出现上面的错误信息；上网查了下，发现也有相同的错误出现：http://mail-archives.apache.org/mod_mbox/hadoop-user/201208.mbox/%3COF2E935E40
-
本版专家分：0
-
不建议使用hadoop+kerberos控制权限
-
本版专家分：0
-
这个问题有解了吗？我也碰到相同问题了
-
本版专家分：0
-
你仔细看看LOG， 明明是login 使用keytab的时候找不到用户，你把keytab重新弄一下就好了。
-
本版专家分：0
-
5楼，为什么说不建议使用hadoop+kerberos,那你有好的安全构架？？
-
本版专家分：0
-
你不这么建议，那请问下，你建议用什么来控制权限？Python 实战-从菜鸟到大牛的进阶之路高清完整版 pdf Python 实战-从菜鸟到大牛的进阶之路高清pdf版 第1章 Python 处理 cassandra 升级后的回滚脚本 第 2 章 多套方案来提高 python web 框架的并发处理能力 第 3 章 python 写报警程序中的声音实现 winsound 第 4 章 一个脚本讲述 python 语言的基础规范，适合初学者 第 5 章 python 计算文件的行数和读取某一行内容的实现方法 第 6 章 python 中用 string.maketrans 和 translate 巧妙替换字符串 第 7 章 python linecache 模块读取文件用法详解 第 8 章 python 调用 zabbix 的 api 接口添加主机、查询组、主机、模板 第 9 章 python+Django 实现 Nagios 自动化添加监控项目 第 10 章 通过 python 和 websocket 构建实时通信系统[扩展 saltstack 监控] 第 11 章 关于 B+tree (附 python 模拟代码) 第 12 章 Python 编写的 socket 服务器和客户端 第 13 章 python 之 MySQLdb 库的使用 第 14 章 python 监控文件或目录变化 第 15 章 Mongodb 千万级数据在 python 下的综合压力测试及应用探讨 第 16 章 通过 memcached 实现领号排队功能及 python 队列实例. 第 17 章 python 之利用 PIL 库实现页面的图片验证码及缩略图 第 18 章 如何将 Mac OS X10.9 下的 Python2.7 升级到最新的 Python3.3 第 19 章 使用 python 构建基于 hadoop 的 mapreduce 日志分析平台 第 20 章 报警监控平台扩展功能 url 回调的设计及应用 [python 语言] 第 21 章 服务端 socket 开发之多线程和 gevent 框架并发测试[python 语言] 第 22 章 利用 pypy 提高 python 脚本的执行速度及测试性能 第 23 章 python 实现 select 和 epoll 模型 socket 网络编程 第 24 章 对 Python-memcache 分布式散列和调用的实现 第 25 章 Parallel Python 实现程序的并行多 cpu 多核利用【pp 模块】 第 26 章 关于 python 调用 zabbix api 接口的自动化实例 [结合 saltstack] 第 27 章 Python 批量更新 nginx 配置文件 第 28 章 Python 通过 amqp 消息队列协议中的 Qpid 实现数据通信 第 29 章 python simplejson 模块浅谈 第 30 章 python Howto 之 logging 模块 第 31 章 Python FAQ3-python 中 的原始(raw)字符串
-
本版专家分：0
-
那你给楼主解决一下啊
-
本版专家分：0
-
我也遇见这个问题，做了好久没有解决
- 求助：kettle连接cdh510-hbase报错Unable to obtain a connection to HBase: null
- 最近在用hbase与oracle的数据搬运工作，之前一直用sqoop,最近用kettle在做这个事情，在windows，os环境测试一切正常,包括客户端直接跑Job,和生成ktr脚本去跑，都没<em>问题</em>，但
- javax.security.auth.login.LoginException:没有为 XXX 配置LoginModules
- sssneptune 提出了一个<em>问题</em>如下:*********************************************************************error信息为:javax.security.auth.login.LoginException:没有为 MyRealm 配置LoginModules 我明明已经配置了MyRealm在我的log...
- CDH5.3配置Kerberos+LDAP+Sentry记录
- 系统环境说明 操作系统：Centos6.5 CDH版本：5.3 JDK版本：1.7 操作用户：root Kerberos版本：1.10.3 LDAP版本：2.4.40 Sentry版本：1.4 集群配置 机器数量：5 内存：64G 硬盘：10T CPU核心数：24 运行的服务：HDFS、Yarn、HBase、Hive、Sqoop2、Impala、Zookeep
- Hadoop部署和配置Kerberos安全认证
- Hadoop部署和配置Kerberos安全认证全套流程。已经过实测并部署与生产环境。
- hadoop集群的kerberos认证
- 部分现场的集群增加了<em>kerberos</em>认证 导致了一些linux脚本,<em>hadoop</em>程序,甚至是hbase访问的失败 就把如何进行<em>kerberos</em>认证总结了下: 分成两个方向 一 . 命令行下的<em>kerberos</em>认证 二 . java程序里的<em>kerberos</em>认证 一. 命令行下的<em>kerberos</em>认证 1. 使用用户名和密码做认证 用户名即 principal name : shixi...
- hadoop安全机制Kerberos详细介绍
- Kerberos 1、Kerberos是一个基于共享密钥对称加密的安全网络认证系统，它避免了将密码（包括密码hash）在网上传输，而是将密码作为对称加密的密钥，通过能不能解密来验证用户的身份； 2、Kerberos在验证完用户身份后会发给用户Ticket，这个Ticket包含了用户的授权，用户拿着这个Ticket去享受各种服务，所以在Kerberos管理的范围内用户只需要登录一次就可以
- Hadoop平台安全机制Kerberos认证
- 日前笔者在使用flume采集数据直接入到Hadoop平台HDFS上时，由于Hadoop平台采用了Kerberos认证机制。flume配置上是致辞<em>kerberos</em>认证的，但由于flume要采集的节点并不在集群内，所以需要学习Kerberos在Hadoop上的应用。 1、Kerberos协议 Kerberos协议： Kerberos协议主要用于计算机网络的身份鉴别(Authenticatio
- Hadoop_Kerberos配置过程记录
- 在KDC上创建<em>kerberos</em>实例①通过root用户，输入kadmin.local进入<em>kerberos</em>命令行，在<em>kerberos</em>数据库中生成实例 addprinc -randkey <em>hadoop</em>/namenode@SILENCE.COM addprinc -randkey <em>hadoop</em>/datanode1@SILENCE.COM addprinc -randkey <em>hadoop</em>/datanode2@
- 登陆VSS，提示unable to open user login file
- 具体情况是这样的， 我用我的用户名密码 在我机器上登陆一vss会出现这种提示 用别人的用户名密码，不会出现这种提示 在别人的机器上用我的用户名密码登陆没有<em>问题</em> 我用我的机器，登陆别的vss没<em>问题</em>。 搜
- kerberos认证原理---讲的非常细致，易懂
- 前几天在给人解释Windows是如何通过Kerberos进行Authentication的时候，讲了半天也别把那位老兄讲明白，还差点把自己给绕进去。后来想想原因有以下两点：对于一个没有完全不了解Kerberos的人来说，Kerberos的整个Authentication过程确实不好理解——一会儿以这个Key进行加密、一会儿又要以另一个Key进行加密，确实很容易把人给弄晕；另一方面是我讲解方式有<em>问题</em>
- Kerberos 认证原理笔记
- 一、文章来由为了 computer security 课的展示准备素材。二、什么是 KerberosKerberos这一名词来源于希腊神话“三个头的狗——地狱之门守护者摘自百度百科 Kerberos 是一种网络认证协议，其设计目标是通过密钥系统为客户机 / 服务器应用程序提供强大的认证服务。该认证过程的实现不依赖于主机操作系统的认证，无需基于主机地址的信任，不要求网络上所有主机的物理安全，并假定
- Kerberos原理和工作机制
- 1.Kerberos原理和工作机制 概述：Kerberos的工作围绕着票据展开，票据类似于人的驾驶证，驾驶证标识了人的信息，以及其可以驾驶的车辆等级。 1.1 客户机初始验证 1.2获取对服务的访问 2.<em>kerberos</em>中的几个概念 2.1 KDC：密钥分发中心，负责管理发放票据，记录授权。 2.2 域：<em>kerberos</em>管理领域的标识。 2.3 princip...
- Hadoop开启Kerberos安全模式
- Hadoop开启Kerberos安全模式, 基于已经安装好的Hadoop的2.7.1环境， 在此基础上开启Kerberos安全模式。 1.安装规划 已经安装好Hadoop的环境 10.43.159.7 zdh-7 hdfsone/zdh1234 Kerberos服务器 10.43.159.11 zdh-11 <em>kerberos</em> server 2.创建用户的k...
- Kerberos安装及Hadoop搭建提高安全性
- Kerberos安装 前期准备 你可能需要： JDKbyacc.x86_64 ntp yum install byacc byaccj chkconfig ntpd on && service ntpd start 我这台机器是当时编译Hadoop源码的机器，可能有些譬如C++之类的环境已经配置了。 不过没关系，大家编译中的报错应该可以直接找到少哪些
- Java/Scala 访问启用kerberos验证的Hadoop集群
- 通过keytab的方式访问HDFSConfiguration config = new Configuration(); FileSystem hdfs = null; try { if (isKerberosEnable){ System.setProperty("java.security.krb5.con...
- Hadoop的kerberos的实践部署
- 本文重点描述实际操作和实践部分。理论部分和介绍将一笔带过。测试结果：在CM下的<em>kerberos</em>，遇到严重的bug不能顺畅跑通。在自己的Hadoop下，能够顺利跑通。 Hadoop的认证机制 详细介绍请参考Hadoop安全机制研究 <em>hadoop</em>-<em>kerberos</em>介绍 简单来说,没有做<em>kerberos</em>认证的Hadoop，只要有client端就能够连接上。而且，通过一个有root的权限的内网
- Hadoop（2.7.3）安全模式-hadoop kerberos官方配置详解
- 这篇文档描述了如何为Hadoop在安全模式下配置认证。当Hadoop被配置运行在安全模式下时，每个Hadoop服务和每个用户都必须被Kerberos认证。正向方向的主机去查找所有服务的主机，必须被正确地配置来相互认证。
- Kerberos认证原理
- Kerberos认证原理去年做<em>hadoop</em>的时候使用<em>kerberos</em>，现在来整理一下它的原理，不对的地方请见谅 一、基本原理Authentication解决的其实是如何证明你就是你说的那个人的<em>问题</em>，对于如何进行Authentication，一半采用这样的方法：如果一个秘密（Secret）仅仅存在于A和B，那么有个人对B声称自己就是A，B通过让A提供这个秘密来证明这个人就是他或她所声称的A，相当于局...
- 图解Kerberos原理
- Kerberos是一个常用的认证与授权协议，在初次接触该协议的时候，往往觉得该协议充满复杂的交互逻辑，但在充分理解了之后，又会觉得这过程中其实充满了数学与逻辑的美学。本文主要结合Wiki中<em>关于</em>Kerberos Protocol的定义，增加了一些图解信息，希望能够让读者更直观的理解该协议的内容。整体流程参与的关键角色整体流程的介绍中，<em>关于</em>用户身份认证与服务授权都用“系统”这个抽象角色描述的。但实际上...
- Kerberos简介和历史
- Kerberos Kerberos协议主要用于计算机网络的身份鉴别(Authentication), 其特点是用户只需输入一次身份验证信息就可以凭借此验证获得的票据(ticket-granting ticket)访问多个服务，即SSO(Single Sign On)。由于在每个Client和Service之间建立了共享密钥，使得该协议具有相当的安全性。 条件 先来
- Kerberos的原理
- 这是MIT（Massachusetts Institute of Technology）为了帮助人们理解Kerberos的原理而写的一篇对话集。里面有两个虚构的人物：Athena和Euripides，通过Athena不断的构思和Euripides不断的寻找其中的漏洞，使大家明白了Kerberos协议的原理。 Athena: 雅典娜，智慧与技艺的女神。 Euripides:欧里庇得斯, 希腊的悲
- Kerberos认证流程详解
- Kerberos是诞生于上个世纪90年代的计算机认证协议，被广泛应用于各大操作系统和Hadoop生态系统中。了解Kerberos认证的流程将有助于解决Hadoop集群中的安全配置过程中的<em>问题</em>。为此，本文根据最近阅读的一些材料，详细介绍Kerberos认证流程。欢迎斧正！
- Hadoop集群的kerberos认证
- 文章转载自http://www.cnblogs.com/easycloud/p/3724437.html 转载主要用于个人学习备查。环境：OS 版本: Centos6.4Kerberos版本: krb5-1.10.3环境配置机器名Ip地址功能安装模块ganglia.localdomain192.168.124.140Kerberos serverkrb5-libskrb5-serverkrb5-w
- hadoop集群中添加kerberos认证
- <em>hadoop</em>集群中添加<em>kerberos</em>认证 可以参照cloudera的官网方法：http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH4-Security-Guide/CDH4-Security-Guide.html 但本人的配置与其有所不同，更简单一点 本人使用的是<em>hadoop</em>_cloud
- hadoop 上安装配置Kerberos支持的zookeeper
- 我的环境： Red Hat Enterprise Linux Server release 5.5 （查看系统版本的命令：lsb_release -a） 64位 Java 环境：jdk1.7.0_51 Hadoop版本：编译过源码的2.2.0 Hbase版本：0.94-17 zookeeper版本：
- Hadoop（HDP）集群kerberos认证实现方案
- Hadoop（HDP）集群<em>kerberos</em>认证实现方案 ！！出于安全<em>问题</em>，本文隐藏了部分系统名称及服务名称，修改了部分可能造成信息泄露的部分。部分配置为虚拟机配置文件副本，相关主机名称仅供参考。 ！！本文适用于HDP部署了ambari平台的<em>kerberos</em>认证操作。其他环境供参考。 文档中相关图片不上传了。 部署环境：Hadoop2.7.3 HDP2.5.3 本文档参考了
- Kerberos对hadoop进行错误调测debug
- 先执行如下命令： export HADOOP_OPTS="-Djava.net.preferIPv4Stack=true -Dlog.enable-console=true -Dsun.security.krb5.debug=true ${HADOOP_OPTS}" export HADOOP_ROOT_LOGGER=DEBUG,console 再执行<em>hadoop</em>操作： had
- Kerberos原理--经典对话
- 原文：https://blog.csdn.net/dog250/article/details/5468741 这是MIT（Massachusetts Institute of Technology）为了帮助人们理解Kerberos的原理而写的一篇对话集。里面有两个虚构的人物：Athena和Euripides，通过 Athena不断的构思和Euripides不断的寻找其中的漏洞，使大家明白...
- Kerberos原理
- Kerberos这一名词来源于希腊神话“三个头的狗——地狱之门守护者”系统设计上采用客户端/服务器结构与DES加密技术，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听
- Kerberos原理和使用
- Kerberos原理Kerberos 服务是单点登录系统，这意味着您对于每个会话只需向服务进行一次自我验证，即可自动保护该会话过程中所有后续事务的安全。服务对您进行验证后，即无需在每次使用基于 Kerberos 的服务时进行验证。因此，无需在每次使用这些服务时都在网络上发送口令（增强了安全性）。MIT写了一段故事型的对话，比较生动得表述了Kerberos协议的工作原理：Athena和欧里庇得斯<em>关于</em>
- Kerberos原理整理
- 一、什么是<em>kerberos</em> <em>kerberos</em>是一种网络身份验证协议。它设计的目的是使用对称密钥加密技术为客户端/服务器应用提供可靠的身份验证。 美国麻省理工学院提供了一种该协议的实现。<em>kerberos</em>已经在很多公司产品中应用。<em>kerberos</em>是美国麻省理工学院为了解决非安全 的网络环境中安全<em>问题</em>的解决方案。<em>kerberos</em>使用可靠的密钥使服务器能够验证客户端的身份，在不安全的网络环境中进行连接。 ...
- hadoop使用kerberos增加权限验证功能
- 更改network中的hostname vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=nn21021 更改hosts vim /etc/hosts 127.0.0.1 localhost #::1 localhost loca
- hadoop+kerberos的跨域互信
- 背景介绍：rock集群和stone集群，希望能够互相访问 1. 添加互信的principal(两个集群的kdc都要进行操作) kadmin: addprinc -e "des3-hmac-sha1:normal des-cbc-crc:normal" krbtgt/KERBEROS.STONE@KERBEROS.ROCK kadmin: addprinc -e "des3-hmac-sh
- 开启Hadoop安全认证之后的问题及解决方案简述
- Hadoop 安全认证 Security Kerberos openldap
- hadoop在Kerberos认证模式下的用户切换问题
- <em>hadoop</em>使用到<em>kerberos</em>作为用户身份的一种认证方式。<em>关于</em>Kerberos的定义和用法，可以参考很多资料，这里就略过。 <em>hadoop</em>体系，hdfs,hbase，ｈｉｖｅ,spark等系统，事实上，都有权限控制体系，比如ＨＤＦＳ的读写权限控制，文件的所有者所属组等。<em>kerberos</em>在这里扮演的角色，事实上是一个验证的行为，告诉系统当前用户的身份是什么，方便权限控制系统进行判定。 对于
- hadoop、hbase、zookeeper整合kerberos，搭建安全平台
- 随着Hadoop等大数据技术的普及，其平台的安全性日益受到企业的重视，特别是对安全性要求较高的通信、金融等领域。而安全性主要包括两个部分：Authentication、Authorization。 本文侧重于Authentication方面，旨在通用整合Kerberos，提升大数据平台的安全性，降低风险。 至于Authorization方面内容，另有篇幅描述。
- Kerberos原理解析
- Kerberos介绍Kerberos这一名词来源于希腊神话“三个头的狗——地狱之门守护者”。系统设计上采用客户端/服务器结构与DES加密技术，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止replay攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。支持SSO。
- Kerberos协议工作原理
- 1、<em>kerberos</em>(Secure network authentication system)中文叫网络安全认证系统。 <em>kerberos</em>在进行认证过程中并不会传输用户的密码，而是通过传输tickets进行认证登陆到LDAP server。Kerberos协议主要用于计算机网络的身份鉴别，其特点是用户只需输入一次身份验证信息就可以凭借此验证获得的票据（ticket-granting-ti
- kerberos工作原理
- 谈谈<em>kerberos</em>。
- 给老板减刑系列之hadoop 安全缺陷分析之一：kerberos 的缺陷
- 最近看了Steve Loughran先生写的本书《Hadoop and Kerberos: The Madness Beyond the Gate》，幽默的写作风格幽默风趣，但是国内对大数据平台的安全考虑的文章的确较少，本系列文章主要是分析Hadoop安全现状和源码，个人能力有限，麻烦各位大神及时斧正。
- 关于Hadoop安全集群和非安全集群间Distcp的使用
- 1、需求：有两个集群，网络中节点是互通的，现在要用distcp进行文件迁移，但一个集群是非安全集群，一个是配置了<em>kerberos</em>认证的安全集群，怎么执行呢？ 2、前提：两个集群都做了HA配置，所以要通过如下命令查看活动Namenode并获取其IP地址； HA配置查看活动Namenode：hdfs haadmin -getServiceState nn1或n
- Linux7 下Hadoop集群用户管理方案之三 用户认证组件Kerberos安装
- Kerberos 协议 Kerberos协议主要用于计算机网络的身份鉴别(Authentication), 其特点是用户只需输入一次身份验证信息就可以凭借此验证获得的票据(ticket-granting ticket)访问多个服务，即SSO(Single Sign On)。由于在每个Client和Service之间建立了共享密钥，使得该协议具有相当的安全性。 Kerberos安装 1
- hadoop安全机制与kerberos
- 1. 概述随着大数据的日益流行，<em>hadoop</em>已经成为大数据处理的基础平台，当<em>hadoop</em>被更多公司使用时平台的安全性也为人们所关注。<em>hadoop</em>有个有文档是来介绍<em>hadoop</em>安全设计方案的，介绍了<em>hadoop</em>在安全设计方面的折衷security-design，对理解<em>hadoop</em>如何使用<em>kerberos</em>时有所帮助。虽然<em>hadoop</em>基于<em>kerberos</em>做安全认证，但与标准的使用方式还是有所不同的，文档里
- hadoop 安全设计
- <em>hadoop</em>安全设计，<em>kerberos</em>、MapReduce安全面临的<em>问题</em>以及解决方案
- HDFS配置Kerberos认证
- HDFS配置Kerberos认证 2014.11.04 本文主要记录 CDH Hadoop 集群上配置 HDFS 集成 Kerberos 的过程，包括 Kerberos 的安装和 Hadoop 相关配置修改说明。 注意： 下面第一、二部分内容，摘抄自《Hadoop的<em>kerberos</em>的实践部署》，主要是为了对 Hadoop 的认证机制和 Kerberos 认证协议做个简单
- 常见的 Kerberos 错误消息 (A-M)
- 本节按字母顺序 (A-M) 列出了 Kerberos 命令、Kerberos 守护进程、PAM 框架、GSS 接口、NFS 服务和 Kerberos 库的常见错误消息。 All authentication systems disabled; connection refused 原因: 此版本的 rlogind 不支持任何验证机制。 解决方法: 请确保调用的 rlogind ...
- hadoop2.7.1安装部署错误，求大神指导
- 环境，三台虚拟机,centos6.5，jdk 1.7.0_71,<em>hadoop</em>版本<em>hadoop</em>2.7.1 三台机分别配置/etc/sysconfig/network 为 NETWORKING=yes HOSTNAME=master NETWORKING=yes HOSTNAME=master2 NETWORKING=yes HOSTNAME=master3 配置/etc/h
- hadoop token过期问题
- 1、Token 过期<em>问题</em> Failed to Update HDFS Delegation Token for long running application in HA mode参见 https://issues.apache.org/jira/browse/HDFS-9276 https://github.com/apache/spark/pull/9168错误信息：org.apache.h...
- Kerberos--访问带认证的WebUI
- 需求 集成了<em>kerberos</em>后，在开发机器上想要访问集群的WebUI服务，会要求认证。 解决方案 1、linux系统 安装<em>kerberos</em>客户端 将集群的krb5.conf拷贝到本机/etc/ 使用kinit命令认证身份 2、windows系统 本例使用FireFox浏览器： 1.在Firefox浏览器URL里输入：about:config 2.设置以下两...
- 怎样成为解决问题的高手？——关于问题解决的关键4步骤
- 一个真正的<em>高手</em>，其实应该有能力用一套方法论去解决<em>问题</em>的所有，不管这个<em>问题</em>再难，再新鲜，再简单都能搞定。 什么是<em>问题</em>？一言以蔽之，<em>问题</em>来源于现实与目标的差距。 因此，<em>问题</em>产生的原因可能是： 不清楚目标是什么；还可能是不知道差距产生的原因是什么；或者虽然知道差距产生的原因，但是不知道如何消除这个差距，以及不确定消除差距的方法对不对。 这些<em>问题</em>会不断地出现在我们的工作
- 使用API访问开启kerberos集群下的HDFS
- # 使用 Java API访问开启安全Kerberos的Hdfs
- Python从小白到大牛——进阶（数据结构） ②
- 数据结构：数组Array，集合Set，列表List，队列Queue，链表Linkedlist，树Tree，堆Heap，栈Stack，字典Dictionary python中数据容器：序列、集合、字典 注：python中没有数组结构（数组：有序的，元素类型相同） 序列：列表list，字符串str，元组tuple，范围range，字节序列bytes 序列可进行操作：索引，分片...
- JDBC 连接Hive 简单样例（开启Kerberos）
- 运用 Ambari 搭建的HDP 集群，由于开启了<em>kerberos</em> ，对外提供Hive数据时统一用JDBC 的方式，所以写了下面这么一个简单样例供第三方数据接入参考。 代码如下所示：package com.bmsoft.hive.impl;import org.apache.<em>hadoop</em>.security.UserGroupInformation; import java.io.IOExceptio
- java api读取集群hive数据（kerberos认证）
- 引用maven <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>1.1.0</version> </depe...
- Cloudera Manager CDH 集成 Kerberos
- https://blog.csdn.net/u011026329/article/details/79167884?utm_source=blogxgwz4 Cloudera Manager5.11.1 集成Kerberos Kerberos 安装配置 Cloudera提供了非常简便的Kerberos集成方式，基本做到了自动化部署。 系统：Cent...
- hadoop distcp 实现不同集群之间数据同步
- 1.相同<em>hadoop</em>版本同步数据 <em>hadoop</em> distcp -skipcrccheck -update -m 20 hdfs://<em>hadoop</em>01:8020/user/data/warehouse/test /user/data/warehouse/test 2.不同<em>hadoop</em>版本同步数据 <em>hadoop</em> distcp -skipcrccheck -update -m 20 hftp...
- hadoop 2.4.0 使用distcp有关问题解决
- <em>hadoop</em> distcp hftp://nn.tv<em>hadoop</em>.xx.com:50070/user/nlp/warehouse/t_m_user_key_action /user/nlp/warehouse/dw1
- 路过的高手一定要过来看看！帮帮忙！
- public Form1()rn rn public class Form1 : System.Windows.Forms.Formrn rn protected System.Windows.Forms.Button button1;rn protected System.Windows.Forms.Button button2;rn rn public Form1()rn rn rn rnrn protected override void Dispose( bool disposing )rn rn if( disposing )rn rn if (components != null) rn rn components.Dispose();rn rn rn base.Dispose( disposing );rn rnrn rn private void InitializeComponent()rn rn rn rn rn rn rn [STAThread]rn static void Main() rn rn Application.Run(new Form1());rn rnrn private void Form1_Load(object sender, System.EventArgs e)rn rn rn rn public void ss()rn MessageBox.Show("试验");rn rnrn public virtual void button1_Click(object sender, System.EventArgs e)rn rn ss();rn rnrn private void button2_Click(object sender, System.EventArgs e)rn rn Form2 ee=new Form2();rn ee.ShowDialog();rn rnrn rnrnpublic class Form2 : WindowsApplication1.Form1rnpublic override void button1_Click(object sender, System.EventArgs e)rn rn base.button1_Click( sender, e);rn rn rnrn private void button2_Click(object sender, System.EventArgs e)rn rn rn rnrn private void Form2_Load(object sender, System.EventArgs e)rn rn rn rn rnrn为什么在form2中点击button1的时候会有两次“试验”的对话框出现呢？
- Python 实战-从菜鸟到大牛的进阶之路（高清彩色pdf）
- Python 实战-从菜鸟到<em>大牛</em>的进阶之路，让你从小菜鸟一步一步，变成<em>大牛</em>，里面学到的知识，可以灵活运用到python的各种项目中，大有裨益
- java技术大牛修炼记1-大牛真实历程
- 打个比方吧，这位牛人23岁毕业，做了两年嵌入式C编程，25岁时，突然对Java的优雅设计情有独钟，而正好这时，公司有个Java项目，Java技术之旅开始了。 1、最开始三个月，开始接触Java，比如接口、继承、封装等，买了本《Think in Java》天天啃，并且同时做项目实践。猛学了三个月后，对面向对象编程OOP熟悉了，原来脚本式思维和对象思维确实有差别。 2、三个月后，开始啃《C
- java连接HDFS+Kerberos配置参数示例
- 必备参数如下： private void confLoad() throws IOException { conf = new Configuration(); conf.clear(); conf.set("<em>hadoop</em>.security.authentication", "<em>kerberos</em>"); conf.set("fs.defaultFS", "hdfs://172
- 0005-Windows Kerberos客户端配置并访问CDH
- 温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 1.概述 本文档描述Windows Server2008 R2（windows的内核版本是6.1，与windows 7相同）下安装Kerberos Client及FireFox下HTTP访问HDFS、Yarn、Hive、HBase等Hadoop服务的Web UI(如Namenode的50070，Yarn的8088)的过程。安装文档...
- hadoop命令distcp注意事项
- 地址：http://blog.csdn.net/azhao_dn/article/details/7054286# <em>hadoop</em> distcp命令用于在两个不同的集群间拷贝数据，它的优点在于将数据拷贝操作作为mapred程序来执行，这样就大大提高了拷贝的速度，使用distcp命令时必须注意以下事项： 1）数据源集群 的所有节点必须 知道目标集群所有节点ip和host的转换关系
- Spring Security生态概览
- 参考SAML 2.0 WiKi OAUTH、OPENID、SAML、CAS做统一认证与授权的联系与区别 我眼中的SAML (Security Assertion Markup Language) 基于SAML的单点登录介绍
- spring-Security(二):校验流程(白话版)
- 在实际开发中，一般是将用户名在客户端输入的账号，密码和数据库的账号密码比对，springsecurity也是，只不过它做得有点绕，大体流程就是AuthenticationProvider接收客户端用户输入的用户名密码，保存在authentication对象里面，再拿authentication对象里面的用户名通过UserDetailsService类去数据库查询用户用户名，密码，权限等等信...
- Spring Security Kerberos 配置IWA的关键步骤备忘
- IWA: integrated windows authentication 简介：Windows域环境下，终端用户在使用电脑windows系统时已经通过域账户登录了，在使用一些application的时候，也想通过这种方式做认证，不需要在每个application再输入用户名密码。 Kerberos的认证原理貌似比较复杂，我也没看太懂，反正刚开始先用别人的封装把环境搭起来，这里使用了S...
- CDH集群开启Kerberos安全认证
- 在ClouderaManager中通过向导开启，<em>kerberos</em>启用可以通过对<em>hadoop</em>集群的各个服务的xml配置文件进行配置开启管理，但是由于需要配置的xml很多，还需要生成各个服务器的keytab文件，配置相当于繁琐，就算是老司机也很容易出错，而在在CM中管理<em>kerberos</em>启用，可以通过可视化的方式进行管理开启，非常方便，cm帮你生成和部署各个服务的keytab文件，减少错误的发生在进行向导
- hdfs客户端实例（kerberos+simple）
- 1.非安全模式 在非安全模式下，访问hdfs文件系统的客户端代码如下： package ntci.<em>hadoop</em>.hdfs.test; import org.apache.<em>hadoop</em>.classification.InterfaceAudience; import org.apache.<em>hadoop</em>.conf.Configuration; import org.apache.<em>hadoop</em>...
- 《Python从菜鸟到高手》已经出版，购买送视频课程
- 好消息，《Python从菜鸟到<em>高手</em>》已经出版！！！ JetBrains官方推荐图书！JetBrains官大中华区市场部经理赵磊作序！送2400分钟同步视频课程！500个案例，400道Python练习题，电子书，10万行源代码，6个实战项目！ 本书完整目录 购买地址： 当当 京东 在2018-10-15之前在以上地址购买本书，并5分好评以及20字以上评论。除了赠送40小时Py...
- 成为 Android 大牛的10大独门秘籍
- 热文导读 | 点击标题阅读 2018年快来了，BAT等一二线互联网公司Android面试题汇总 吊炸天！74款APP完整源码！ Android和Java高级进阶架构视频分享 成为一个 Android 开发者不难，想成为一个鹤立鸡群、卓尔不凡的<em>高手</em>却难上加难。想成为绝世<em>高手</em>，要投入大量的时间、精力与专注，要耐得住寂寞、受得了挫折，上得了刀山、下的去火海..
- SPRING SECURITY KERBEROS/SPNEGO EXTENSION
- KERBEROS/SPNEGO是spring-security项目的扩展，同时也是实现Windows Active Directory认证的一种方式，其流程和配置可参考http://lengyun3566.iteye.com/blog/1404943，这篇文章讲的比较详细。在开发过程中通过ktpass映射用户名这步有2种方式(我只知道2种)： 1、ktpass -princ HTTP/项目部署所...
- Java 实现应用之间的Kerberos认证
- 我在做某个系统，管理某个各些机柜的服务器设备，各设备上有多个服务应用。我现在的需求是，通过Kerberos实现各应用之间的互信认证，并非单纯用户的互信验证，这需要如何实现？还望众位<em>大牛</em>指教。
- CDH版本 HDFS NFS Gateway 无法启动、挂载失败问题
- 如遇到NFS启动失败，或者其他机器挂载NFS失败，错误字样有如下 挂载失败关键字： mount.nfs: requested NFS version or transport protocol is not supported 启动失败关键字： WARN org.apache.<em>hadoop</em>.oncrpc.RpcProgram: Invalid RPC call versio
- Ambari 操作指南 (Ambari Operations) 之一
- 1. Ambari 操作指南: 概述 (Ambari Operations: Overview) Hadoop 是用在商业主机网络集群上的大规模、分布式的数据存储和处理基础架构。监控和管理如此复杂的分布式系统是不简单的。为了管理这种复杂性， Apache Ambari 从集群节点和服务收集了大量的信息，并把它们表现为容易使用的，集中化的接口：Ambari Web Ambari Web 显示诸如...
- 云主机控制台启动（Failed to connect to server (code: 1006)）
- 各位大神，我在 ubuntu12.04 上搭建完 openstack havana 版本之后，启动云主机正常，但是在进入控制台的时候出现Failed to connect to server (cod
- kerberos安装手册
- <em>kerberos</em>安装手册，<em>kerberos</em>是一种安全验证服务组件。
- Python 实战-从菜鸟到大牛的进阶之路.epub
- Python 实战-从菜鸟到<em>大牛</em>的进阶之路.epub Python 实战-从菜鸟到<em>大牛</em>的进阶之路.epub
- 目前机器视觉的大牛
- 一、研究群体 http://www-2.cs.cmu.edu/~cil/vision.html 这是卡奈基梅隆大学的计算机视觉研究组的主页，上面提供很全的资料，从发表文章的下载到演示程序、测试图像、常用链接、相关软硬件，甚至还有一个搜索引擎。 http://www.cmis.csiro.au/IAP/zimage.htm 这是一个侧重图像分析的站点，一般。但是
- kerberos安装配置与使用
- 1.Kerberos协议： Kerberos协议主要用于计算机网络的身份鉴别(Authentication), 其特点是用户只需输入一次身份验证信息就可以凭借此验证获得的票据(ticket-granting ticket)访问多个服务，即SSO(Single Sign On)。由于在每个Client和Service之间建立了共享密钥，使得该协议具有相当的安全性 2.1. 环境配置 安装k...
- Spark应用如何访问带Kerberos认证的CDH Hadoop集群
- 我用的是 Spark Standalone集群，当运行kinit命令导入证书，并把CDH Hadoop集群的配置文件放入spark/conf/目录后，提交应用发现还是无法访问CDH Hadoop。 后来查了下官网资料，貌似Standalone模式的Spark集群不支持访问Kerberos认证的Hadoop，我们可以使用Yarn Client模式管理的的Spark集群。 假设你的Hadoop集群
- 全面的电磁兼容培训教材下载
- 涵盖了电磁兼容的各方面知识。是电子工程师必备手册 相关下载链接：[url=//download.csdn.net/download/shenqiou2000/2025395?utm_source=bbsseo]//download.csdn.net/download/shenqiou2000/2025395?utm_source=bbsseo[/url]
- 系统管理员维护操作手册.doc下载
- 数据备份 恢复 发文管理 注册用户信息 还有其它系统管理信息 相关下载链接：[url=//download.csdn.net/download/lkwanghui/2085848?utm_source=bbsseo]//download.csdn.net/download/lkwanghui/2085848?utm_source=bbsseo[/url]
- C#数字图像处理实例教程下载
- 本资源是对数字图像处理教程中的一些常用算法的实现，用VS2005.C#编写的代码，是大专院校学生毕业设计的参考资料，相关行业的工作人员也可以参考。 相关下载链接：[url=//download.csdn.net/download/fang_jx/2165278?utm_source=bbsseo]//download.csdn.net/download/fang_jx/2165278?utm_source=bbsseo[/url]
我们是很有底线的