Java 实现应用之间的Kerberos认证 [问题点数:40分,结帖人linyfei]

Bbs2
本版专家分:261
结帖率 100%
Bbs2
本版专家分:261
Bbs4
本版专家分:1826
Bbs2
本版专家分:261
Bbs1
本版专家分:10
版主
Blank
微软MVP 2015年4月荣获微软MVP称号
2014.7获得微软MVP称号
2012年10月 荣获微软MVP称号
2011年10月 荣获微软MVP称号
Blank
红花 2013年9月 Windows专区大版内专家分月排行榜第一
Blank
黄花 2013年1月 Windows专区大版内专家分月排行榜第二
2012年4月 Windows专区大版内专家分月排行榜第二
Blank
蓝花 2012年12月 Windows专区大版内专家分月排行榜第三
2012年2月 Windows专区大版内专家分月排行榜第三
2011年12月 Windows专区大版内专家分月排行榜第三
2011年11月 Windows专区大版内专家分月排行榜第三
Bbs2
本版专家分:261
kerberosjava实现
用<em>java</em>语言<em>实现</em>的简单的<em>kerberos</em>,可以对客户端进行AS,tgs的<em>认证</em>
配置两个不同kerberos认证中心的集群间的互信
两个Hadoop集群开启Kerberos验证后,集群间不能够相互访问,需要<em>实现</em>Kerberos<em>之间</em>的互信,使用Hadoop集群A的客户端访问Hadoop集群B的服务(实质上是使用Kerberos Realm A上的Ticket<em>实现</em>访问Realm B的服务)。 先决条件: 1)两个集群(XDF.COM和HADOOP.COM)均开启Kerberos<em>认证</em> 2)K...
java认证Kerberos主动登录
一、hive主动登录 // 设置jvm启动时krb5的读取路径参数 System.setProperty("<em>java</em>.security.krb5.conf", propertie.getProperty("<em>kerberos</em>.krb5.path")); if(configuration == null){ configuration = new Con...
hadoop+kerberos的跨域互信
背景介绍:rock集群和stone集群,希望能够互相访问 1. 添加互信的principal(两个集群的kdc都要进行操作) kadmin: addprinc -e "des3-hmac-sha1:normal des-cbc-crc:normal" krbtgt/KERBEROS.STONE@KERBEROS.ROCK kadmin: addprinc -e "des3-hmac-sh
java连接有kerberos认证的hbase
最近有这个需求,因为<em>kerberos</em><em>认证</em>,一直连不上,通过很多大佬的帮忙,终于成功连上,在此分享下自己的一点点收获 话不多说, 1.需要hbase-site.xml这个配置文件,里面有很多配置属性是需要的,需要将这个文件放到根目录下;很多属性因为在这个配置文件里有了,所以不用设置,但是你设置了,会以你设置的为准,这里面的只是初始化。 2.keytab文件 3.krb5.conf文件 p...
Java 访问kerberos认证的HDFS文件
1、创建Maven项目,导入以下依赖,必须: &amp;lt;dependency&amp;gt; &amp;lt;groupId&amp;gt;org.apache.hadoop&amp;lt;/groupId&amp;gt; &amp;lt;artifactId&amp;gt;hadoop-common&amp;lt;/artifactId&amp;gt; &amp;lt;version&amp;gt;2.6.0&amp;lt;/version&amp;gt;
java连接HDFS+Kerberos配置参数示例
必备参数如下: private void confLoad() throws IOException { conf = new Configuration(); conf.clear(); conf.set("hadoop.security.authentication", "<em>kerberos</em>"); conf.set("fs.defaultFS", "hdfs://172
Tomcat认证授权实现SSO
Tomcat<em>认证</em>授权<em>实现</em>SSO 本文档旨在说明如何采用Tomcat的Single Sign-On来为网站开启ldap<em>认证</em>,从而<em>实现</em>用户Login一次之后,可以访问同一Server上的不同Webapp。 一、       OpenLDAP安装配置 1.下载安装OpenLDAP for windows版本,默认安装即可 2.修改slapd.conf配置文件       补全include:
Kerberos安全体系详解---Kerberos的简单实现
1.  Kerberos简介 1.1. 功能 一个安全<em>认证</em>协议 用tickets验证 避免本地保存密码和在互联网上传输密码 包含一个可信任的第三方 使用对称加密 客户端与服务器(非KDC)<em>之间</em>能够相互验证 Kerberos只提供一种功能——在网络上安全的完成用户的身份验证。它并不提供授权功能或者审计功能。 1.2. 概念 首次请求,三次通信方
kerberos认证协议
什么是<em>kerberos</em>协议,估计很多人都没有通过,实际上它<em>应用</em>非常广泛,在windows域和许多开发平台上<em>应用</em>很广。它<em>应用</em>最多的是统一登录SSO(Single Sign On)框架上<em>应用</em>。      什么是SSO,举个例子来说,一个公司开始有个系统A,用户每次登陆都要输入用户名密码鉴权。用来确认用户是合法用户,同时也要确定服务是合法服务,如何确定服务是合法服务呢,通常方法是验证过程不要使用明文密
java ssh远程连接服务器,跳过 Kerberos username 身份验证提示
一般情况下,我们登录sftp服务器,用户名<em>认证</em>或者密钥<em>认证</em>即可。  但是如果对方服务器设置了Kerberos 身份验证,而已方又没有对应的配置时,则会提示输入  Kerberos username [xxx]  Kerberos password 此时,简单的解决办法是,可以去掉Kerberos 身份验证来解决 解决办法  session.setConfig(“PreferredAuthent...
HBase实操 | 如何使用Java连接Kerberos的HBase
一.文档编写目的 出于CDH集群安全考虑,在CDH集群中增加了Kerberos<em>认证</em>机制。因为HBase的存储系统是基于Hadoop的存储,所以通过HBase客户端访问HBase数据库时需要进行身份<em>认证</em>。在Linux下使用HBase客户端访问HBase数据时需要先kinit初始化Kerberos账号,<em>认证</em>完成后我们就可以直接使用HBase shell操作HBase了。通过Linux的Kinit命令...
CDH集群添加Kerberos并使用Java代码调用HDFS和Spark on YARN
0x0 背景 由于CDH默认的权限管理机制过于简单,不能够保证HADOOP集群的安全性,因此,引入了Kerberos作为安全管理服务。 0x1 安装<em>kerberos</em>服务 CDH提供了关于整合<em>kerberos</em>服务的向导,在整合<em>kerberos</em>之前,必须要有<em>kerberos</em>服务。下面,介绍一下如何安装<em>kerberos</em>服务。 1. 安装<em>kerberos</em> server和kdc(Key Dist...
java api读取集群hive数据(kerberos认证
引用maven &lt;dependency&gt; &lt;groupId&gt;org.apache.hive&lt;/groupId&gt; &lt;artifactId&gt;hive-jdbc&lt;/artifactId&gt; &lt;version&gt;1.1.0&lt;/version&gt; &lt;/depe...
使用 LDAP + Kerberos 实现集中用户认证及授权系统
<em>认证</em>体系一般包含账号,<em>认证</em>,授权,审计这些部分组成。本文简述如何基于 LDAP和Kerberos <em>实现</em>集中的账号,<em>认证</em>及授权系统。选择的软件分别为OpenLDAP 和 Kerberos。 LDAP 用来做账号管理,Kerberos作为<em>认证</em>。授权一般来说是由<em>应用</em>来决定的,通过在LDAP 数据库中配置一些属性可以让<em>应用</em>程序来进行授权判断。 软件的安装参考相应的发行版本即可,在此不再赘述。下面的配
用Java访问带有Kerberos认证的HBase
用Java访问带有Kerberos<em>认证</em>的HBase 开始之前    因为HBase的存储系统是基于Hadoop的存储,现在Hadoop已经增加了Kerberos<em>认证</em>机制,这样HBase的客户端访问HBase数据库的时候也需要进行身份的<em>认证</em>。    Kerberos是一个<em>认证</em>中心,客户端在访问HBase前必须通过<em>认证</em>才能访问,下图是Kerberos的<em>认证</em>图:
Java/Scala 访问启用kerberos验证的Hadoop集群
通过keytab的方式访问HDFSConfiguration config = new Configuration(); FileSystem hdfs = null; try { if (isKerberosEnable){ System.setProperty(&quot;<em>java</em>.security.krb5.con...
kerberos认证hbase在spark环境下的使用
hadoop中计算框架MapReduce中存储到有<em>kerberos</em>的hdfs,由于其内部yarn进行了<em>认证</em>故不需要进行相关的操作,可直接进行读写操作。spark使用有<em>kerberos</em><em>认证</em>的hbase是一个既麻烦又简单的问题,麻烦的方面是:中文的网站相关的文章很少并且分布只是分散的知识点。官网中给的信息也不够完整,倘若要是使用还是会出现自己采坑的想象。简单的方面是:代码量很少,理解起来也不是很难。本...
Hadoop(HDP)集群kerberos认证实现方案
Hadoop(HDP)集群<em>kerberos</em><em>认证</em><em>实现</em>方案 !!出于安全问题,本文隐藏了部分系统名称及服务名称,修改了部分可能造成信息泄露的部分。部分配置为虚拟机配置文件副本,相关主机名称仅供参考。 !!本文适用于HDP部署了ambari平台的<em>kerberos</em><em>认证</em>操作。其他环境供参考。 文档中相关图片不上传了。 部署环境:Hadoop2.7.3 HDP2.5.3 本文档参考了
kerberos认证协议浅析
1 引言 在希腊神话中Kerberos是守护地狱之门的一条凶猛的三头神犬,而我们在本文中所要介绍的Kerberos<em>认证</em>协议是由美国麻省理工学院(MIT)首先提出并<em>实现</em>的,是该校雅典娜计划的一部分。这个定名是贴切的,因为Kerberos<em>认证</em>是一个三路处理过程,依赖称为密钥分发中心(KDC)的第三方服务来验证计算机相互的身份,并建立密钥以保证计算机间安全连接。本质上每台计算机分享KDC一个秘钥,而K
java调试Kerberos,输出登陆信息
在代码中添加: System.setProperty(“sun.security.krb5.debug”, “true”);
Kerberos认证协议
序言:近几天学习了Kerberos<em>认证</em>协议,觉得有必要把学习过程和学习心得记录一下,文章内容有William Stallings编著的《网络安全基础》中的部分内容,也有自己的理解和思考。我希望能用自己的理解来解释出Kerberos<em>认证</em>协议的工作过程。由于Kerberos比较复杂,所以需要通过多个假设会话来理解协议,对于有哪些不妥之处还请前辈批评指正。 1.一个简单的会话(1)C—>AS: IDc |
连接池连接kerberos权限认证的impala+kudu数据库
啥都不说,先吐槽,吐槽技术中心,吐槽部门,能不能让我安安全全的使用,不要扔个个东西来就让我用,在开发环境没有<em>kerberos</em>,来了上正式,直接给布上,你让我这连<em>kerberos</em>都不知道是啥的<em>java</em>开发人员咋搞,完,写一下自己通过连接池连接存在<em>kerberos</em><em>认证</em>的impala+kudu数据库。 先说啥是<em>kerberos</em>: “Kerberos 服务”是一种客户机/服务器体系结构,用于在网络上提...
Spark连接需Kerberos认证的HBase
Prerequisite krb5.conf 或 krb5.ini xx.keytab core-site.xml hbase-core.xml CodeshBaseConfig.addResource("hbase-site.xml") hBaseConfig.addResource("core-site.xml") UserGroupInformation.setConfiguration(hB
使用Java自带kinit、klist在windows下进行kerberos认证
最近工作需要,linux下进行<em>kerberos</em><em>认证</em>很简单,也很容易。直接kinit命令执行就ok,然后相关的上层<em>应用</em>,诸如Python之类的<em>kerberos</em>程序内<em>认证</em>,都是基于操作系统层面已经<em>认证</em>过的凭证catch,再进行通信。但是windows下一直不方便,当然有MIT<em>实现</em>的windows下的<em>kerberos</em>客户端,不过配置好复杂,很多功能用不到。 今天发现JDK的bi...
kerberos 认证方式-主机认证
<em>kerberos</em> <em>认证</em>方式-主机<em>认证</em> 业务系统常有这样的需求,从a机器连b机器,即ssh的方式远程调用b机器上得脚本或者命令,每次都要输入用户名和密码,很麻烦 把密码写进脚本里,人员变动之后还要改密码,这个非常麻烦,为了解决这个问题,使用kerborse<em>认证</em>的方式能不能也<em>实现</em>类似ssh免密码登陆那样的功能呢! 下面就介绍一下怎么做,一共只有两步: 1、目标机器改k5logi
Java api访问集群(Kerberos认证不通过)
本地环境访问集群OK 生产环境却报错 查找日志信息,发现Kerberos<em>认证</em>的时候,域名解析出现问题?!! 登录生产环境ping 043节点,能ping通说明域名是能解析成IP地址的(有DNS服务器)蓝瘦香菇,明明报错是域名解析问题为什么能ping通呢? 于是把本地Java访问集群代码改成IP试一试,呵呵报错了 Caused by: org.ietf.jgss.GSSException: No v...
用jdbc连接impala(kerberos认证
上代码import <em>java</em>.sql.Connection;import <em>java</em>.sql.DriverManager;import <em>java</em>.sql.ResultSet;import <em>java</em>.sql.SQLException;import <em>java</em>.sql.Statement;import org.apache.hadoop.conf.Configuration;import org.apac...
基于Kerberos认证的TCP通信
1 前言<em>kerberos</em>是一种安全协议,它涉及到三个部分:KDC、 Server端 与 Client端的代码。对于Kerberos 的整个<em>认证</em>过程,有很多介绍。但是对于如何在一个已有TCP程序中进行<em>kerberos</em><em>认证</em>,一直不知道如何使用。前段时间在oracle的文件中,找到一个server与client的样例,结合这个用例,将它进行改写,便于理解。 前置说明: KDC需要保证能正常运行 有对应的
基于 Kerberos 认证的 Hadoop Token 过期问题 Debug 过程
1 Kerberos Kerberos是诞生于上个世纪90年代的计算机<em>认证</em>协议,被广泛<em>应用</em>于各大操作系统和Hadoop生态系统中。了解Kerberos<em>认证</em>的流程将有助于解决Hadoop集群中的安全配置过程中的问题。 1.1 Kerberos可以用来做什么 简单地说,Kerberos提供了一种单点登录(SSO)的方法。考虑这样一个场景,在一个网络中有不同的服务器,比如,打印服务器、邮件服务...
yarn上配置kerberos(十二)
一、创建<em>认证</em>规则 二、创建Keytab文件 三、部署Kerberos Keytab文件 四、修改YARN配置文件,包括 1)yarn-site.xml 2)mapred-site.xml 3)container-executor.cfg 五、启动服务 六、测试 实施步骤 1、创建<em>认证</em>规则 [root@cdh1 training]# kadmin.local -q "a
kerberos客户端认证
因项目最近使用<em>kerberos</em><em>认证</em>,此前不太了解,网上查找资料看的也不是太懂,所以把本次经验记录一下.<em>kerberos</em>服务端是安装好的,在此不附具体安装过程,具体操作如下:1.客户端安装:(特别注意centos6版本和centos7版本,因内置<em>kerberos</em>版本不同,所以无法<em>认证</em>,如有类似情况需要在官网手动下载<em>kerberos</em>相关包,手动安装;经测试kinit验证可以通过,但本人用spark提交...
关于Hbase认证失效问题的解决
问题描述:在项目中使用的cdh版本hbase,连接方式不再详解。在运行中发现一个问题,就是hbase的keytab文件在程序启动的24小时之后会失效,导致hbase无法连接,重新启动程序则可以连接。解决方案:很明显,生产环境的程序不能24小时重启一次。解决方案就是对hbase的<em>认证</em>文件进行出从新<em>认证</em>。执行语句:kinit -kt user.kertab user。采用linux的定时任务方式,定时...
[Kerberos原理]-- 趣味故事讲解Kerberos认证原理过程
文章转自:http://blog.sina.com.cn/s/blog_5384e78b0100fhdt.html   &amp;amp;关于TGT,见到一段很有意思的描述,文章写的时间挺早,不过貌似核心的东西到现在也没变…这是MIT(Massachusetts Institute of Technology)为了帮助人们理解Kerberos的原理而写的一篇对话集。里面有两个虚构的人物:Athena和...
Kerberos认证原理
Kerberos<em>认证</em>原理去年做hadoop的时候使用<em>kerberos</em>,现在来整理一下它的原理,不对的地方请见谅 一、基本原理Authentication解决的其实是如何证明你就是你说的那个人的问题,对于如何进行Authentication,一半采用这样的方法:如果一个秘密(Secret)仅仅存在于A和B,那么有个人对B声称自己就是A,B通过让A提供这个秘密来证明这个人就是他或她所声称的A,相当于局...
windows配置kerberos认证
最近在研究hive数据库,但是Windows环境下hive数据库登录需要<em>kerberos</em>的<em>认证</em>,被<em>kerberos</em>的认真折磨了好几天,差不多把百度翻了个底朝天没找到实际价值,后来终于解决了。总结了一份文档
kerberos认证hive连接代码
<em>kerberos</em><em>认证</em>hive连接代码,springmvc配置加上<em>java</em>触发<em>认证</em><em>kerberos</em><em>认证</em>
使用API访问开启kerberos集群下的HBASE
HBase连接
使用API访问开启kerberos集群下的HDFS
# 使用 Java API访问开启安全Kerberos的Hdfs
java api登录远程配有kerbeors的hbase实现
昨天开始才知道IDEA Intellij中可以在打包的jar包中设置断点进行debug,于是决定把之前遗留下的连接远程hbase的问题重新捡起解决。 现在的环境:client端:是windows10的系统,开发工具为IDEA Intellij                         远程的服务器端:是非本地机的centos系统。使用的hadoop为2.7.2版本,hbase为1.2.1
认证模式之Spnego模式
Spnego模式是一种由微软提出的使用GSS-API接口的<em>认证</em>模式,它扩展了Kerberos协议,在了解Spnego协议之前必须先了解Kerberos协议,Kerberos协议主要解决身份<em>认证</em>及通信密钥协商问题,它大致的工作流程如下: ①客户端根据自己用户名向密钥分发中心KDC的身份<em>认证</em>服务AS请求TGS票证。②AS生成一个TGS票证、查询对<em>应用</em>户的密码,然后通过用户密码将TGS票证加密,响应给客
kerberos 取消认证
登录7180管理平台,在各组件配置页面,执行下面操作 Hbase修改hbase.security.authentication为simple,取消勾选hbase.security.authorization HDFS修改hadoop.security.authentication为simple,取消勾选hadoop.security.authorization,将datanode的
关于kerberos安全认证
由于大数据安全是一个重要环节,受到其它因素的启发,决定研究一下<em>kerberos</em><em>认证</em>,本节大致介绍一下概念。 一、Kerberos协议:       Kerberos协议主要用于计算机网络中进行身份鉴别(Authentication), 其特点是用户只需输入一次身份验证信息就可以凭借此验证获得的票据(ticket-granting ticket)访问多个服务,即SSO(Single
Kerberos认证流程详解
Kerberos是诞生于上个世纪90年代的计算机<em>认证</em>协议,被广泛<em>应用</em>于各大操作系统和Hadoop生态系统中。了解Kerberos<em>认证</em>的流程将有助于解决Hadoop集群中的安全配置过程中的问题。为此,本文根据最近阅读的一些材料,详细介绍Kerberos<em>认证</em>流程。欢迎斧正!
Kerberos原理解析
Kerberos介绍Kerberos这一名词来源于希腊神话“三个头的狗——地狱之门守护者”。系统设计上采用客户端/服务器结构与DES加密技术,并且能够进行相互<em>认证</em>,即客户端和服务器端均可对对方进行身份<em>认证</em>。可以用于防止窃听、防止replay攻击、保护数据完整性等场合,是一种<em>应用</em>对称密钥体制进行密钥管理的系统。支持SSO。
[Kerberos基础]-- kerberos认证原理---讲的非常细致,易懂
参考官方文档:http://www.<em>kerberos</em>.org/ 转自:http://blog.csdn.net/wulantian/article/details/42418231  
CAS采用Spnego认证方式通过Kerberos与AD域整合
CAS采用Spnego<em>认证</em>方式通过Kerberos与AD域整合
用户认证与Kerberos
(1)用户<em>认证</em>分为两类:一种是基于对称加密的远程用户<em>认证</em>,第二种是基于非对称加密的远程用户<em>认证</em>。但是,不论是基于对称加密的,还是基于非对称加密的,每一种<em>认证</em>又可以按照是否双方都需要互相<em>认证</em>对方的身份而分为:单向<em>认证</em>和双向<em>认证</em>。 (2)基于对称加密的远程用户<em>认证</em>:不需要公私钥,但是需要KDC(Key Distribution Center,密钥分发中心)的存在。不论是单向<em>认证</em>还是双向<em>认证</em>,都需要K
SpringBoot整合并简单使用Kerberos认证的Kafka
早餐一个白鸡蛋吃得俺打嗝 -_-||| 准备工作 1、启动需要Kerberos<em>认证</em>的kafka。 注:具体配置方式可详见https://blog.csdn.net/justry_deng/article/details/88386114。 2、在本地将C:\Windows\System32\drivers\etc\hosts中指定kafka所在broker的ip地址以及其对应的主机名。 ...
JDBC 连接Hive 简单样例(开启Kerberos)
运用 Ambari 搭建的HDP 集群,由于开启了<em>kerberos</em> ,对外提供Hive数据时统一用JDBC 的方式,所以写了下面这么一个简单样例供第三方数据接入参考。 代码如下所示:package com.bmsoft.hive.impl;import org.apache.hadoop.security.UserGroupInformation; import <em>java</em>.io.IOExceptio
HBase Master启动认证kerberos失败&问题解决
1. 问题复原 在<em>kerberos</em>环境下启动HBase时,包如下错误: 2018-03-29 11:59:12,828 INFO [main-SendThread(hadoop2497.jd.163.org:2181)] zookeeper.ClientCnxn: Socket connection established to hadoop2497.jd.163.org/10.196.67...
kerberos化hadoop集群提交spark任务
在<em>kerberos</em>集群上提交 spark任务复杂性远远高于非<em>kerberos</em>集群,提交spark任务分为两种模式:yarn-client和yarn-cluster模式,先简单说明一下这两种模式。 1.yarn-client模式 使用yarn-client模式提交,提交任务的client节点作为spark driver,executor在yarn container中启动,运行日志和状态信息都可以在...
kafka 配置kerberos安全认证
这个里面是kafka配置<em>kerberos</em>的详细步骤,其方式也可以<em>应用</em>到kafka自带的<em>认证</em>体系
Hadoop集群的kerberos认证
文章转载自http://www.cnblogs.com/easycloud/p/3724437.html 转载主要用于个人学习备查。环境:OS 版本: Centos6.4Kerberos版本: krb5-1.10.3环境配置机器名Ip地址功能安装模块ganglia.localdomain192.168.124.140Kerberos serverkrb5-libskrb5-serverkrb5-w
Kerberos API
这是逆向工程用于API探测的工具 很好用 逆向工程必备工具之一
solr添加kerberos认证及授权
solr添加<em>kerberos</em><em>认证</em>及授权@(OTHERS)[solr]一、<em>kerberos</em>(一)添加用户在kdc中添加solr用户:root@kdc:/# kadmin.local kadmin.local: addprinc HTTP/192.168.0.107 kadmin.local: ktadd -k /tmp/107.keytab HTTP/192.168.0.107 kadmin.loca
kafka增加SSL认证的Producer客户端代码示例
package com.kafka.safe.ssl; import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.Producer; import org.apache.kafka.clients.producer.ProducerRecord;
(转载)详解Hive配置Kerberos认证
Hive提供了运行SQL语句查询存储在HDFS上数据的能力,Hive提供的查询引擎,可以将SQL语句转化成MapReduce任务,提交到Hadoop集群上执行。MapReduce任务运行的结果会存在HDFS上。下面的图表示了一个用户运行Hive查询的Hadoop内部交互。 有多种和Hive交互的方法,最常用的是CLI,不过,CLI的设计使其不便于通过编程的方式进行访问。还有可以使
Hive配置Kerberos认证
关于 Kerberos 的安装和 HDFS 配置 <em>kerberos</em> <em>认证</em>,请参考 HDFS配置<em>kerberos</em><em>认证</em>。 关于 Kerberos 的安装和 YARN 配置 <em>kerberos</em> <em>认证</em>,请参考 YARN配置<em>kerberos</em><em>认证</em>。 请先完成 HDFS 和 YARN 配置 Kerberos <em>认证</em>,再来配置 Hive 集成 Kerberos <em>认证</em> ! 参考 使用yum安装
kerberos权限认证
前几天在给人解释Windows是如何通过Kerberos进行Authentication的时候,讲了半天也别把那位老兄讲明白,还差点把自己给绕进去。后来想想原因有以下两点:对于一个没有完全不了解Kerberos的人来说,Kerberos的整个Authentication过程确实不好理解——一会儿以这个Key进行加密、一会儿又要以另一个Key进行加密,确实很容易把人给弄晕;另一方面是我讲解方式有问题
hadoop集群的kerberos认证
部分现场的集群增加了<em>kerberos</em><em>认证</em> 导致了一些linux脚本,hadoop程序,甚至是hbase访问的失败 就把如何进行<em>kerberos</em><em>认证</em>总结了下: 分成两个方向 一 . 命令行下的<em>kerberos</em><em>认证</em> 二 . <em>java</em>程序里的<em>kerberos</em><em>认证</em> 一. 命令行下的<em>kerberos</em><em>认证</em> 1. 使用用户名和密码做<em>认证</em> 用户名即 principal name : shixi...
Kafka集成Kerberos之后如何使用生产者消费者命令
前提: 1、kafka版本1.0.12、在linux中使用kinit刷新<em>kerberos</em><em>认证</em>信息/在配置文件中配置keytab路径和票据 1、生产者 1.1、准备jaas.conf并添加到环境变量(使用以下方式的其中一种) 1.1.1、使用Kinit方式 前提是手动kinit 配置内容为: KafkaClient { com.sun.security.auth.module.Krb...
Kerberos简介和历史
Kerberos Kerberos协议主要用于计算机网络的身份鉴别(Authentication), 其特点是用户只需输入一次身份验证信息就可以凭借此验证获得的票据(ticket-granting ticket)访问多个服务,即SSO(Single Sign On)。由于在每个Client和Service<em>之间</em>建立了共享密钥,使得该协议具有相当的安全性。 条件 先来
深刻理解windows安全认证机制 [ntlm & Kerberos]
0x01 为什么要理解windows 安全<em>认证</em>机制:1加深对后续各种漏洞利用的理解深度,还是那句话,要知其然,更要知其所以然,不废话,咱们直接开始0x02 windows<em>认证</em>协议主要有以下两种:12基于ntlm的<em>认证</em>方式,主要用在早期的windows工作组环境中,<em>认证</em>的过程也相对比较简单另一种是基于Kerberos的<em>认证</em>方式,主要用在域环境中,下面就这两种不同的<em>认证</em>方式做些简要的通信流程说明0x0...
基于对称加密的密钥分配和Kerberos认证
基于对称加密的密钥分配和Kerberos<em>认证</em> 对于对称加密,加密双方必须共享同一密钥,而且必须保护密钥不被他人读取。此外,常常需要频繁地改变密钥来减少某个攻击者可能知道密钥带来的数据泄露。因此,任何密码系统的强度都取决于密钥分发技术。密钥分发技术指的是将密钥传递给希望安全交换私密数据的双方,且不允许其他人看见密钥的方法。 密钥分发能用很多方法<em>实现</em>,对 A 和 B 双方,有下列选择: A 能...
Python实现Kerberos用户的增删改查
1、首先模拟python类似shell命令行操作的接口: python安装subprocess(本地)、paramiko(SSH远程) #-*- coding: UTF-8 -*- #!/usr/bin/python import os, sys import subprocess import paramiko import settings class RunCmd(object):
hadoop在Kerberos认证模式下的用户切换问题
hadoop使用到<em>kerberos</em>作为用户身份的一种<em>认证</em>方式。关于Kerberos的定义和用法,可以参考很多资料,这里就略过。 hadoop体系,hdfs,hbase,hive,spark等系统,事实上,都有权限控制体系,比如HDFS的读写权限控制,文件的所有者所属组等。<em>kerberos</em>在这里扮演的角色,事实上是一个验证的行为,告诉系统当前用户的身份是什么,方便权限控制系统进行判定。   对于
使用Kerberos安全读取HDFS文件
使用指南 导入依赖包 compile group: 'org.apache.hadoop', name: 'hadoop-hdfs', version: '2.7.6' compile group: 'org.apache.hadoop', name: 'hadoop-common', version: '2.7.6' krb5.conf 文件(从KDC服务器上复制下来) [lib...
Kerberos单点登录实现过程
最近公司在做单点登录的选型,看了看Kerberos的技术<em>实现</em>。感觉网上Kerberos的相关资料不多,自己做了总结和大家分享,因为是在选型阶段,没做太深入的学习,学习了Kerberos的单点登录过程。 Kerberos基本原理 先转几个链接 1.关于理解Kerberos原理的经典对话,MIT的人为了帮助人们理解Kerberos的原理而写的一篇对话集,google “Kerberos的原理”,...
Hadoop平台安全机制Kerberos认证
日前笔者在使用flume采集数据直接入到Hadoop平台HDFS上时,由于Hadoop平台采用了Kerberos<em>认证</em>机制。flume配置上是致辞<em>kerberos</em><em>认证</em>的,但由于flume要采集的节点并不在集群内,所以需要学习Kerberos在Hadoop上的<em>应用</em>。 1、Kerberos协议 Kerberos协议: Kerberos协议主要用于计算机网络的身份鉴别(Authenticatio
solr入门之solr安全控制的研究和实践(一)
本研究基于solr官方文档: 链接:http://pan.baidu.com/s/1geAadZ9 密码:02x0 solr从5.3.0开始提供了安全验证的机制,具体有以下几种方式: Kerberos Authentication Plugin Basic Authentication Plugin Rule-Based Authorization Plugin Custo
Kerberos配置SSH免密登录
环境:KDC server:hostname: yaya.example.com, ip: 192.168.0.104   ;          客户端:hostname: yaya2.example.com  ip: 192.168.0.106在KDC server上:1.安装:yum install krb5\*[root@yaya log]# rpm -qa|grep -i krb5krb5...
?悬赏:Kerberos认证Service_key及Ticket获取相关问题思路求教
?悬赏:Kerberos<em>认证</em>Service_key及Ticket获取相关问题思路求教        思路一:        在Windows客户端与Windows服务器的<em>kerberos</em><em>认证</em>过程中,通过第二阶段客户端向KDC(密钥分配中心)的TGS数据交互,客户端获取到了可以与服务端会话的Service_key和Ticket。          问题一:如果服务器端KDC用开源的Sa
hadoop集群中添加kerberos认证
hadoop集群中添加<em>kerberos</em><em>认证</em> 可以参照cloudera的官网方法:http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH4-Security-Guide/CDH4-Security-Guide.html 但本人的配置与其有所不同,更简单一点 本人使用的是hadoop_cloud
Sqoop2开启Kerberos安全模式
Sqoop2开启Kerberos安全模式, 基于版本sqoop-1.99.7, 在已经安装好的sqoop2环境上配置<em>kerberos</em>。 1.安装规划 10.43.159.9 zdh-9 sqoop2krb/zdh1234 10.43.159.11 zdh-11 <em>kerberos</em> server 2.创建keytab 在zdh-11上,登陆root用户在/ro...
图解Kerberos原理
Kerberos是一个常用的<em>认证</em>与授权协议,在初次接触该协议的时候,往往觉得该协议充满复杂的交互逻辑,但在充分理解了之后,又会觉得这过程中其实充满了数学与逻辑的美学。本文主要结合Wiki中关于Kerberos Protocol的定义,增加了一些图解信息,希望能够让读者更直观的理解该协议的内容。整体流程参与的关键角色整体流程的介绍中,关于用户身份<em>认证</em>与服务授权都用“系统”这个抽象角色描述的。但实际上...
Spark应用如何访问带Kerberos认证的CDH Hadoop集群
我用的是 Spark Standalone集群,当运行kinit命令导入证书,并把CDH Hadoop集群的配置文件放入spark/conf/目录后,提交<em>应用</em>发现还是无法访问CDH Hadoop。 后来查了下官网资料,貌似Standalone模式的Spark集群不支持访问Kerberos<em>认证</em>的Hadoop,我们可以使用Yarn Client模式管理的的Spark集群。 假设你的Hadoop集群
kettle支持kerberos认证的hive集群
Kettle对接指南1.1 环境准备1.1.1 Linux平台安装操作系统步骤 1 安装CentOS6.5 Desktop。步骤 1 禁用防火墙,SELinux。步骤 2 添加本地主机名解析,使用vi /etc/hosts添加本地主机名解析。162.1.115.89 kettle----结束步骤 1 下载完整客户端,安装至目录“/opt/hadoopclient”。步骤 3 使用vi /etc/p...
跨域认证解决方案
JSON Web Token(缩写 JWT)是目前最流行的跨域<em>认证</em>解决方案,本文介绍它的原理和用法。 一、跨域<em>认证</em>的问题 互联网服务离不开用户<em>认证</em>。一般流程是下面这样: 1、用户向服务器发送用户名和密码。 2、服务器验证通过后,在当前对话(session)里面保存相关数据,比如用户角色、登录时间等等。 3、服务器向用户返回一个 session_id,写入用户的 Cookie。 4、用...
CDH环境下jdbc连接impala集成kerberos认证
关于CDH环境下jdbc连接impala集成<em>kerberos</em><em>认证</em>,其中用的idea,导入的maven依赖包 和maven好像不一样,具体怎么用代码<em>实现</em>,求各位路过的大佬指教一下,小弟谢谢了 ...
Kerberos 基于centos7的ssh认证登陆
测试设备名字需要写入/etc/hosts中 192.168.2.20 centos20.test.com192.168.2.21 centos21.test.com环境简介:Centos20为KDC服务器端安装包名为:krb5-devel krb5-server krb5-workstation pam_krb5Centos21为Client端安装包为:k...
单机 kafka 配置 kerberos,设置 ACL 权限
kafka 配置 <em>kerberos</em>,设置 ACL权限, <em>java</em> 客户端连接。
Java 操作Hbase 简单案例 (Kerberos已开启)
package com.hbase;/** * @time 2017年7月22日 * @author YeChunBo * 类说明: 操作 Hbase (Kerberos已开启) * Hbase 版本号:1.2.4 */ import <em>java</em>.io.IOException; import <em>java</em>.util.ArrayList; import <em>java</em>.util.Iterator; i
集成验证时IE采用Kerberos 还是NTLM验证方式?
IE具体是采用Kerberos 还是NTLM验证方式取决于以下三种情况: 客户端以ip地址访问服务器        不管客户端跟服务器是否在域、也不管客户端是否以域帐号登陆,只要客户端以ip地址访问服务器, 那么客户端就会选择NTLM方式验证 并且不会直接发送客户端登录用户的用户名和密码给服务器 而是会弹出一个对话框要求用户输入用户名和口令,然后发送到服务端验
大数据的安全管理 -- Kerberos
1. 前言前一段时间一直在做大数据集群下面的安全环境(Kerberos)的配置与分析,其中有许多误解,这里记录下来。当然kerbeos本身也比较复杂,这里只从一个使用者的角度进行记录2. 安全基础 – Kerberos一提到Hadoop集群安全,我们就会想到Kerberos,对于<em>kerberos</em>解释,有很多。下面是我对于<em>kerberos</em>的一个理解2.1 什么是<em>kerberos</em> Kerberos
信息系统安全实验(七):使用Kerberos实现网络身份认证
这是信息系统安全实验系列的第七篇~ 1. 背景知识 (1)概述        Kerberos又指麻省理工学院为这个协议开发的一套计算机网络安全系统。系统设计上采用客户端/服务器结构与DES加密技术,并且能够进行相互<em>认证</em>,即客户端和服务端均可对对方进行身份<em>认证</em>。 (2)概念 ①    密钥分发中心(KDC)        Kerberos使用了一个由两个独立的逻辑部分:<em>认证</em>服务器(同身...
kafka使用SASL_PLAINTEXT做用户认证
使用SASL/PLAIN<em>认证</em> server端 1.配置broker kafka_server_jaas.conf 内容 KafkaServer { org.apache.kafka.common.security.plain.PlainLoginModule required username=&quot;admin&quot; password=&quot;admin-secret&quot;...
solr入门之使用SolrJ进行安全认证和权限管理
2. 关于solr通用管理的尝试 正常的通用使用中是没有关于管理的API的,一般简单的文档操作都是solrj进行二次封装后 提供给我们使用的,CURD操作. 超出这个范畴就需要,使用初次封装的方法来解决了. 首先,solrj是和solr<em>之间</em>通过HTTP请求进行数据交互的.知道这点,我们就看看solr的request中提供给我们的类,进而选出符合要求的使用即可: 这里只
HBase(使用kerberos)服务请求客户端程序
public class TestHbaseKerberos { private static final String HBASE_MASTER_PRINCIPAL = "hbase/_HOST@EXAMPLE.COM"; private static final String HBASE_RS_PRINCIPAL = "hbase/_HOST@EXAMPLE.COM"; public
今天主要讲解Kerberos与LDAP
今天主要讲解Kerberos与LDAP。 虽然LDAP是加密的但是加密强度还不够,因此需要Kerberos。 微软的活动目录就是:LDAP + <em>kerberos</em> + ntp + CA. 因为Linux在命令行下操作所以较为复杂。   Kerberos是RHS333的重点,在实际的工作中Kerberos是重点。 惠普的单点登录就是Kerberos<em>实现</em>的。 一
python操作具有kerberos认证的hive(impala)
▌前言       python中用于连接HiveServer2的客户端有3个:pyhs2,pyhive,impyla。官网的示例采用的是pyhs2,但pyhs2的官网已声明不再提供支持,建议使用impyla和pyhive。我选择的python2.7和impala,运行环境Linux、Windows。   ▌安装依赖(默认已安装好python2.7、pip)    pip install ...
Hadoop_Kerberos配置过程记录
在KDC上创建<em>kerberos</em>实例①通过root用户,输入kadmin.local进入<em>kerberos</em>命令行,在<em>kerberos</em>数据库中生成实例 addprinc -randkey hadoop/namenode@SILENCE.COM addprinc -randkey hadoop/datanode1@SILENCE.COM addprinc -randkey hadoop/datanode2@
Kerberos认证协议认证授权流程-白话解读
本文参考了Wikipedia上面的Kerberos词条,对Kerberos的用户<em>认证</em>、服务授权、服务请求过程,用大白话解读。 1前言我相信有很多人看不懂Kerberos协议,所以我终于看懂以后用大白话说一遍,让那些看不懂的人看懂,让我忘了以后变成看不懂的人的时候再次看懂。 Kerberos是一种计算机网络<em>认证</em>协议,它允许某实体在非安全网络环境下通信,向另一个实体以一种安全的方式证明自己的身份。
强连通分量及缩点tarjan算法解析
强连通分量: 简言之 就是找环(每条边只走一次,两两可达) 孤立的一个点也是一个连通分量   使用tarjan算法 在嵌套的多个环中优先得到最大环( 最小环就是每个孤立点)   定义: int Time, DFN[N], Low[N]; DFN[i]表示 遍历到 i 点时是第几次dfs Low[u] 表示 以u点为父节点的 子树 能连接到 [栈中] 最上端的点   int
一个MFC的自定义按钮类下载
一个MFC自定义的按钮类,可以实现很多功能,包括鼠标移动上去的动态显示,背景颜色的改变等 相关下载链接:[url=//download.csdn.net/download/l350290017/4824866?utm_source=bbsseo]//download.csdn.net/download/l350290017/4824866?utm_source=bbsseo[/url]
工程力学《剪力图与弯矩图》教学教案设计下载
工程力学中的剪力图与弯矩图教学。 1.掌握剪力图和弯矩图的绘制方法(基本法和简捷法),并能熟练掌握用简捷法绘制剪力图和弯矩图; 2.透彻理解并熟记绘制剪力图与弯矩图的规律表及口诀; 3.明确用简捷法绘制剪力图与弯矩图的要点及注意。 相关下载链接:[url=//download.csdn.net/download/chilian13127/2036891?utm_source=bbsseo]//download.csdn.net/download/chilian13127/2036891?utm_source=bbsseo[/url]
ds18b20温度报警下载
用单片机实现的 温度上下限报警 有原理图 C代码 相关下载链接:[url=//download.csdn.net/download/bestfang2008/2417906?utm_source=bbsseo]//download.csdn.net/download/bestfang2008/2417906?utm_source=bbsseo[/url]
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 java课程之间的联系 java学习和应用
我们是很有底线的