cdh集成kerberos报错求助,导入 KDC Account Manager 凭据失败。 [问题点数:20分]

Bbs1
本版专家分:0
结帖率 0%
CDH启用Kerberos后生成丢失的凭据时出错
问题描述:在CDH启用Kerberos认证后,添加新的服务组件时,无法成功启动服务;nnnn错误提示需要生成丢失的<em>凭据</em>,然而在生成<em>凭据</em>时又<em>报错</em>,错误信息如下:nnnn解决办法:nn首先需要<em>导入</em>Kerberos Account Manager <em>凭据</em>nnnnnn然后再生成丢失的<em>凭据</em>:nnnn成功!nn最后启动服务nnnn也能成功运行了,搞定!!!n...
CDH5.7配置kerberos身份认证+sentry权限管理
更多大数据技术干货,欢迎关注“大数据技术进阶”微信公众号。nn4. 为CDH 5集群添加Kerberos身份验证n4.1 安装sentryn  1、点击“操作”,“添加服务”;n  2、选择sentry,并“继续”;nnnnnnnnnnnnnnnnnnnnnnnnnnnnnn3、选择一组依赖关系nnnnnnnnnnnnnnnnnnnnnnnnnn...
CDH集群开启Kerberos安全认证
在ClouderaManager中通过向导开启,<em>kerberos</em>启用可以通过对hadoop集群的各个服务的xml配置文件进行配置开启管理,但是由于需要配置的xml很多,还需要生成各个服务器的keytab文件,配置相当于繁琐,就算是老司机也很容易出错,而在在CM中管理<em>kerberos</em>启用,可以通过可视化的方式进行管理开启,非常方便,cm帮你生成和部署各个服务的keytab文件,减少错误的发生在进行向导
CDH集成Kerberos配置
转载自 JavaChen Blog,作者:JavaChennnnn原文链接地址:http://blog.javachen.com/2014/11/04/config-<em>kerberos</em>-in-<em>cdh</em>-hdfs.htmlnnnn转载自 小黑的博客nnnn原文链接地址:http://www.xiaohei.info/2016/09/01/<em>cdh</em>-install-<em>kerberos</em>-ldap-sentry/...
CDH安装kerberos后无法启动zookeeper的解决方法
该方法可能只针对我的环境,其他原因请自行实验或分享。(该文档只适合CDH平台,不适应于hadoop等自定义安装,因为CDH会自动生成<em>kdc</em>,自己配置的话如果不熟悉很容易出错)n该方法可能只针对我的环境,其他原因请自行实验或分享。(该文档只适合CDH平台,不适应于hadoop等自定义安装,因为CDH会自动生成<em>kdc</em>,自己配置的话如果不熟悉很容易出错)nn该方法可能只针对我的环境,其他原因请自行
如何在CDH5.12集群中启用Kerberos认证
CDH启用<em>kerberos</em>n参考链接: nhttps://www.cloudera.com/documentation/enterprise/5-8-x/topics/security.html
CDH安装以及开启kerberos
首先感谢前任总结的一些经验,尤其是开启<em>kerberos</em>方面,看了好几篇文章才最终搞定,当然还有好基友同事的一起帮忙,首先说一下按照CDH官方网站上提供的文档,我没有搞定,可能是英文水平太差的原因。n一、主机修改篇n1、下载地址:http://archive.cloudera.com/cm5/cm/5/  CDH<em>manager</em>下载cloudera-<em>manager</em>-centos7-cm5.7.5_
CDH集群环境整合hdfs和kerberos问题定位
近一个月在用java调用hdfs文件上传下载,整合<em>kerberos</em>时出现多个错误,最后一个错误如下:java.io.IOException: Failed on local exception: java.io.IOException: java.lang.IllegalArgumentException: Failed to specify server's Kerberos principal...
CDH集群启用Kerberos
一、安装<em>kdc</em>nnnn1.在集群中找台机器安装KDCnnyum install krb5-server krb5-libs krb5-workstationnn如果您的机器不能联网请使用rpm包安装:nn这台机器自带了<em>kerberos</em> client的两个包,需要先升级再安装servernn[root@bigdata27 ~]# rpm -qa | grep krb nkrb5-workstatio...
重新生成kerberos凭据的方法
上周在Hadoop服务器上安装了<em>kerberos</em>,默认配置全都没有进行更改,配置了对应用户的票据后均可以正常访问hdfs,但今天来了之后发现用户无法访问hdfs了,于是重新生成票据。通过CM将<em>kerberos</em>的ticker_lifetime改成了365天,但是担心万一仍然出现问题,于是将重新生成票据的方法进行记录,以免以后忘记。nn对root用户进行票据配置nn1、在root用户下执行命令:ki...
CDH5启用Kerberos和添加Sentry服务
CDH5启用Kerberos和添加Sentry服务
Kerberos高可用安装
目录nn nn1、Kerberos安装与配置nn1.1安装nn1.1.1注意事项nn1.1.2Yum安装nn1.2配置nn1.2.1/etc/krb5.confnn1.2.2/var/<em>kerberos</em>/krb5<em>kdc</em>/<em>kdc</em>.confnn1.2.3/var/<em>kerberos</em>/krb5<em>kdc</em>/kadm5.aclnn1.2.4创建kpropd.aclnn1.2.5创建数据库nn1.2.6同步配置nn1...
Windows Kerberos客户端配置并访问CDH
https://forum.huawei.com/enterprise/zh/thread-337775.htmlnn最近被安排做java本地访问带认证的CDH集群,网上查了各种博客,试了各种方法都无法登录上。最终发现是端口问题,因为<em>kdc</em>默认端口是88,所以必须给88端口为UDP协议nn nn使用API访问开启安全Kerberos的Hdfsnhadoop集群(<em>cdh</em>集群)在开启<em>kerberos</em>安...
Ambari中配置启用kerberos
在Ambari组件中启用<em>kerberos</em>权限认证n环境:Amabri 2.5.1、HDP 2.5.3、CentOS 6.9n下载JCE并解压nJCE下载地址是:nhttp://www.oracle.com/technetwork/java/javase/downloads/jce8-download-2133166.htmlnnn解压到jdk securitynunzip -o -j -q jce...
配置Kerberos+LDAP整合,共用LDAP 数据库
1、安装ldapnyum install db4 db4-utils db4-devel cyrus-sasl* krb5-server-ldap -ynyum install openldap openldap-clients openldap-servers openldap-devel compat-openldap -yn n查看安装的版本:n$ rpm -qa openldap
kerberos安装及高可用配置
一.n1.nRedhat7.4n2.nCDH5.15n3.n采用root用户进行操作n4.n192.168.8.181 master1.comn192.168.8.182 master2.comn192.168.8.183 slave183.comn5.n二.n1.在181 182服务器上安装KDC服务nyum -y install krb5-server krb5-libs krb5-auth-...
kerberos高可用---主从部署
1.  选择slave的master(node2)和slave(node3)上添加对方为可信用户在已有kerbero环境中,再选择一台主机作为slave安装kerbero服务端yum -y install krb5-server krb5-libs krb5-auth-dialog 2.  在<em>kerberos</em>Master kadmin: addprinc -randkey host/node2 ...
Centos7安装大数据安全认证组件Kerberos
目录nn一、<em>kerberos</em>简介nn二、<em>kerberos</em>认证原理nn三、<em>kerberos</em>集群安装nn1.环境说明nn2.集群安装前准备nn3.安装<em>kerberos</em>服务器端nn4.安装<em>kerberos</em>客户端nn5.测试<em>kerberos</em>安装是否成功nn6.<em>kerberos</em>常用命令nn一、<em>kerberos</em>简介nnKerberos是一种计算机网络认证协议,此协议可以保护网络实体免受窃听和重复攻击,它允许某...
kerberos安装测试
博客地址:http://www.fanlegefan.com文章地址:http://www.fanlegefan.com/index.php/2017/07/30/<em>kerberos</em>install/服务器列表rn 主机名rn iprn role workrn 192.168.1.115rn master KDCrn zuoyejirn 192.168.1.116rn <em>kerberos</em>_client
Kafka集成Kerberos之后如何使用生产者消费者命令
前提:nn1、kafka版本1.0.12、在linux中使用kinit刷新<em>kerberos</em>认证信息/在配置文件中配置keytab路径和票据nn1、生产者nn1.1、准备jaas.conf并添加到环境变量(使用以下方式的其中一种)nn1.1.1、使用Kinit方式nn前提是手动kinitnn配置内容为:nnnKafkaClient {ncom.sun.security.auth.module.Krb...
Windows 配置kerberos访问并启动访问CDH 集群web UI页面
1、问题描述:nCDH集群启用 HTTP Web 控制台的 Kerberos 身份验证后,FireFox下HTTP访问HDFS、Yarn、Hive、HBase等Hadoop服务的Web UI(如Namenode的50070,Yarn的8088)等出现错误n2、解决方案:n思路:nwindows 10 安装<em>kerberos</em>客户端n1、win10安装Kerberos客户端n在Kerberos官网下载K...
启用Kerberos后CDH集群的HiveServer2频繁意外退出故障解决附带CDH更新Principal keytab过程
HiveServer2 运行状况 不良 半小时自动退出一次nn搜索hive的日志:nnnfind / -name  hive-log4j.propertiesnn找到并打开后发现日志位置和名字:nnlog.dir=/var/log/hivennlog.file=hadoop-cmf-hive-HIVESERVER2-<em>cdh</em>148.log.outnn该日志内容过长,于是打开命令调整为:nnntail...
Linux 安装Kerberos认证KDC服务
最近需要给hadoop集群加上安全验证,采用<em>kerberos</em>作为认证,这里记录一下安装<em>kerberos</em> <em>kdc</em>的经验
CDH-Kerberos环境下KafkaManager的安装使用(编译版和免编译版)
为了能够方便的查看及管理Kafka集群,yahoo提供了一个基于Web的管理工具(Kafka-Manager)。这个工具可以方便的查看集群中Kafka的Topic的状态(分区、副本及消息量等),支持管理多个集群、重新分配Partition及创建Topic等功能。nn项目地址:https://github.com/yahoo/kafka-<em>manager</em>nn nn前提:JDK1.8环境nn1、编译(必...
CDH5.13启用Kerberos后spark代码提交常见错误
错误一:Exception in thread &quot;main&quot; org.apache.hadoop.security.AccessControlException: Permission denied: user=admin, access=WRITE, inode=&quot;/user&quot;:hdfs:supergroup:drwxr-xr-xnn解决方法:需要登录kinit sparknn错误二:WARN ...
关于Hbase认证失效问题的解决
问题描述:在项目中使用的<em>cdh</em>版本hbase,连接方式不再详解。在运行中发现一个问题,就是hbase的keytab文件在程序启动的24小时之后会失效,导致hbase无法连接,重新启动程序则可以连接。解决方案:很明显,生产环境的程序不能24小时重启一次。解决方案就是对hbase的认证文件进行出从新认证。执行语句:kinit -kt user.kertab user。采用linux的定时任务方式,定时...
kerberos安装配置
安装步骤:rn[size=large]1.下载krb5-1.9[/size]rnhttp://web.mit.edu/<em>kerberos</em>/dist/krb5/1.9/krb5-1.9-signed.tarrnrn[size=large]2.解压[/size]rntar -xvf krb5-1.9.signed.tarrn生成krb5-1.9.tar.gz 和krb5-1.9.tar.gz.ascrn...
cloudera manager安装hive各种坑解决方案
nnnn问题一 (Hive元数据库编码异常)nn问题描述: n n解决方案:nnnn##设置hive数据库编码为latin1nmysql &amp;gt; alter database hive character set latin1;nnnnnn问题二 (JDBC版本异常)nn问题描述: n n解决方案:nnnnJDBC Driver版本过低引起的异常,使用高版本的JDBC驱动nnnnnn问题三 ...
[Kerberos基础]-- kdc集群主从搭建(kerberos相关)
主机规划nn10.10.100.94   masternn10.10.100.93   slavenn10.10.100.92   clientnn nn(一)环境:nn 名称            版本       nn CentOS        CentOS release 6.7(Final)       nnKerberos   nn    krb5-server-1.10.3-57.e...
Kerberos 服务部署
Kerberos服务部署系统版本:CentOS Linux release 7.2.1511Kerberos简介首先,我们了解下<em>kerberos</em>是个什么东西?Kerberos协议主要用于计算机网络的身份鉴别(Authentication), 其特点是用户只需输入一次身份验证信息就可以凭借此验证获得的票据(ticket-granting ticket)访问多个服务,即SSO(Single Sign ...
SpringBoot整合并简单使用Kerberos认证的Kafka
早餐一个白鸡蛋吃得俺打嗝 -_-|||nn准备工作nn1、启动需要Kerberos认证的kafka。nn注:具体配置方式可详见https://blog.csdn.net/justry_deng/article/details/88386114。nn2、在本地将C:\Windows\System32\drivers\etc\hosts中指定kafka所在broker的ip地址以及其对应的主机名。n...
在CDH sandbox中安装并测试livy
安装部分nn1、下载Livy安装包,如livy-0.5.0-incubating-bin.zipn2、上传到/opt/livy目录n3、解压安装包 unzip livy-0.5.0-incubating-bin.zipn4、配置Livy使用需要的spark环境变量    nnn   export SPARK_HOME=/usr/lib/sparkn   export HADOOP_CONF_DIR...
CDH中HUE开启Livy Spark提交工具
下载编译Livynnnngit clone https://github.com/cloudera/livy.gitncd livynmvn packagennnn配置启动Livynnnnlivy-env.shnnexport SPARK_HOME=/opt/cloudera/parcels/SPARK2-2.1.0.cloudera2-1.<em>cdh</em>5.7.0.p0.171658/lib/spark...
跨集群KDC数据迁移
n n n 拷贝KDC A的数据追加到KDC B,使得在B集群节点可以通过认证访问A集群内的服务。n1 KDC An将KDC A的DATABASE数据导出,然后发送到KDC B点n[root@node1a198 krb5<em>kdc</em>]# kdb5_util dump /var/<em>kerberos</em>/krb5<em>kdc</em>/<em>kdc</em>2.dumpn[root@node1a198 krb5k...
HBase Master启动认证kerberos失败&问题解决
1. 问题复原nn在<em>kerberos</em>环境下启动HBase时,包如下错误:nn2018-03-29 11:59:12,828 INFO [main-SendThread(hadoop2497.jd.163.org:2181)] zookeeper.ClientCnxn: Socket connection established to hadoop2497.jd.163.org/10.196.67...
使用Kettle向CDH集群中Hive导入数据表
使用Kettle向CDH集群中Hive<em>导入</em>数据表nnnn使用Kettle向CDH集群中Hive<em>导入</em>数据表n步骤概览n详细步骤n环境准备n环境配置n数据抽取过程开发nnnnnnnnnnCDH集群搭建好了,需要向Hive中<em>导入</em>数据,环境如下:nnnCDH版本:Hadoop 2.6.0-<em>cdh</em>5.15.0nKettle 6.0nJDK 1.8nOracle 11gnnnnnnn步骤概览nnn下载Hive...
java调试Kerberos,输出登陆信息
在代码中添加: nSystem.setProperty(“sun.security.krb5.debug”, “true”);
基于LDAP和Sentry的大数据认证和鉴权解决方案--Part Two:Sentry集成
上一篇文章中,介绍了LDAP和HUE,Impala以及Hive的<em>集成</em>来完成了用户认证的工作,接下来我们聊一下如何使用Sentry来实现对数据的授权管理。nnnSentry一旦和Hive<em>集成</em>,就会接管Hive的Metadata,也就是说。如果没有<em>集成</em>Sentry,Hive的metadata是存放在Hive自己的metadata数据库中的,但一旦和Sentry整合,这些metadata信息就会保
Kerberos 认证原理笔记
一、文章来由为了 computer security 课的展示准备素材。二、什么是 KerberosKerberos这一名词来源于希腊神话“三个头的狗——地狱之门守护者摘自百度百科n Kerberos 是一种网络认证协议,其设计目标是通过密钥系统为客户机 / 服务器应用程序提供强大的认证服务。该认证过程的实现不依赖于主机操作系统的认证,无需基于主机地址的信任,不要求网络上所有主机的物理安全,并假定
[Hadoop基础]-- 执行yarn命令报权限问题错误
# yarn application -kill application_1469066281048_9314nn nnn16/08/08 10:39:23 INFO client.RMProxy: Connecting to ResourceManager at master-27.dev.cluster.enn.cn/10.1.150.7:8032n16/08/08 10:39:24 WARN...
cloudera manager+CDH 完全离线安装文档 版本5.7
       写完全离线的目的有几点:1、数据安全考虑,服务器不允许与外部连通。2、对于下载速度很慢的时候,可以考虑。3、集群规模大,人手不够,又不会写shell脚本一键安装。cloudera <em>manager</em> 下载地址:http://archive.cloudera.com/cm5/CDH 下载地址:http://archive.cloudera.com/<em>cdh</em>5/说明:测试中的IP为伪造IP,本...
kerberos主从同步
hostnipnnnnn<em>kdc</em>mastern172.16.242.108nnn<em>kdc</em>slaven172.16.16.82nnn在<em>kdc</em>master上快速安装<em>kerberos</em>,可参考https://blog.csdn.net/woloqun/article/details/76560173nyum -y install krb5-libs krb5-devel krb5-server krb...
Ambari学习笔记-安装Kerberos
1 安装前准备nn1.1 主机列表nn本次实验选择2台主机,1台作为KDC master主机,1台作为KDC slavernn节点ipn OS版本n jdk版本n hostname -fn 安装软件n 192.168.0.1n RHEL7.4n openjdk-1.8.0.131n ambari1n KDC mastern 192.168.0.2n RHEL...
CDH开启Kerberos+Sentry权限控制-实施配置指南
CDH开启Kerberos+Sentry权限控制-实施配置指南,完整的详细教程
用jdbc连接impala(kerberos认证)
上代码import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;import org.apache.hadoop.conf.Configuration;import org.apac...
配置两个不同kerberos认证中心的集群间的互信
n n n 两个Hadoop集群开启Kerberos验证后,集群间不能够相互访问,需要实现Kerberos之间的互信,使用Hadoop集群A的客户端访问Hadoop集群B的服务(实质上是使用Kerberos Realm A上的Ticket实现访问Realm B的服务)。n先决条件:n1)两个集群(XDF.COM和HADOOP.COM)均开启Kerberos认证n2)K...
离线安装CDH初始化数据库的问题
当运行初始化数据库脚本语句:cm-5.13.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scmnn之前,进入mysql:mysql -hlocalhost -uroot -p,执行一下sql语句,否则有可能<em>报错</em>:nngrant...
记一次Spark Kerberos的故障解决
有同事反馈,Livy Server启动的所有Spark AM<em>失败</em>。Livy启动的Spark AM默认会enableHiveSupport,且使用$LIVY_HOME/conf/livy.conf的如下配置作为spark.yarn.keytab和spark.yarn.<em>kerberos</em>。nnlivy.server.launch.<em>kerberos</em>.keytabnnlivy.server.launch.k...
关闭Kerberos后hbase集群RegionServer经常意外退出
按通常网上的关闭Kerberos集群的方法关闭集群后,hbase集群经常有单节点意外退出,查看日志会发现很长的<em>报错</em>信息,下面从头按顺序开始列举:nnnABORTING region server <em>cdh</em>136,60020,1539306655523: org.apache.hadoop.hbase.YouAreDeadException: Server REPORT rejected; curre...
Impala配置Kerberos认证和Sentry权限控制
集群说明: n集群有wlint01、wlnamenode01、wldatanode001~wldatanode018一共20个节点, n对应ip地址192.168.32.9~192.168.32.28nn1.生成keytab文件 n生成http.keytab文件nn[wlbd@wlint01 keytabFile]$ sudo kadmin.local -q &amp;quot;xst -norandkey -k ...
CDH5实践(四)Cloudera Manager 5安装中碰到的一些问题和解决办法
问题一:安装过程中会出现<em>失败</em>,查看detail信息中,提示 host 无法连接nnn解决:前面的文章中漏了对主机host的一个修改, 除了修改 /etc/hosts 文件外,我们还需要修改修改  /etc/sysconfig/network 文件,并且需要重启才能生效。nnn问题二:CDH5 安装中,hive和monitor host 都需要数据库,除了postgresql外,是否可以
solr添加kerberos认证及授权
solr添加<em>kerberos</em>认证及授权@(OTHERS)[solr]一、<em>kerberos</em>(一)添加用户在<em>kdc</em>中添加solr用户:root@<em>kdc</em>:/# kadmin.localnkadmin.local: addprinc HTTP/192.168.0.107nkadmin.local: ktadd -k /tmp/107.keytab HTTP/192.168.0.107nkadmin.loca
Flink在CDH配置部署及读取kafka的实例验证;
CDH目前不带flink组件,文档为Flink在CDH集群上的配置部署及读取kafka的实例验证;
常见的 Kerberos 错误消息 (N-Z)
rn本节按字母顺序 (N-Z) 列出了 Kerberos 命令、Kerberos 守护进程、PAM 框架、GSS 接口、NFS 服务和 Kerberos 库的常见错误消息。rn rnNo credentials cache file foundrn原因:rnKerberos 无法找到凭证高速缓存 (/tmp/krb5cc_uid)。rn解决方法:rn请确保该凭证文件存在并且可以读取。否则,请再次尝...
cdh集群中kafka启动报错
下面贴出角色日志:rnrn经过排查,是由于kafka内存问题,改为1G,重启就OK;rnrn下面贴图。rnrnrnrnrnrnrnrnrnrnrnrnrnrn文件 /var/log/kafka/kafka-broker-bj-esbp-master.w-oasis.com.log 下载完整日志rnrnrnrn rnrn rn2017年12月20日中午12点09 - 2017年12月20日下午1点1
Kerberos密码修改
Kerberos密码修改1.背景2.修改系统用户密码2.1登录kadmin控制台2.2 修改密码3.修改kadmin密码n1.背景n<em>kerberos</em>作为广发运用于大数据产品中的一个认证组件,不可避免会存在修改密码场景。对系统用户和Kadmin用户(管理员用户)的密码修改方式不同。nn修改系统用户密码。可以通过cpw来修改,系统用户密码。所以系统用户密码丢失,也可通过kadmin,使用cpw修改找回...
CDH基于Kerberos身份认证和基于Sentry的权限控制功能的测试示例
1. 准备测试数据nnncat /tmp/events.csvn10.1.2.3,US,android,createNoten10.200.88.99,FR,windows,updateNoten10.1.2.3,US,android,updateNoten10.200.88.77,FR,ios,createNoten10.1.4.5,US,windows,updateTagnn2. 创建用户2....
CDH开启sentry后如何同步跨集群hive数据迁移
1.        不同集群直接hive迁移nn由于集群里设置了dfs.permissions=true  的 因此hdfs上的文件访问须hdfs用户才可以操作 被迁移的集群是hadoop用户,因此先对现有的目录设在acl权限访问/hivenn①   新集群操作nn导数据之先把另一个集群的hadoop用户授予本集群的hdfs访问权限。nnhdfs dfs -setfacl -R -muser:ha...
CDH集群添加Kerberos并使用Java代码调用HDFS和Spark on YARN
0x0 背景nn由于CDH默认的权限管理机制过于简单,不能够保证HADOOP集群的安全性,因此,引入了Kerberos作为安全管理服务。nnnn0x1 安装<em>kerberos</em>服务nnCDH提供了关于整合<em>kerberos</em>服务的向导,在整合<em>kerberos</em>之前,必须要有<em>kerberos</em>服务。下面,介绍一下如何安装<em>kerberos</em>服务。 n1. 安装<em>kerberos</em> server和<em>kdc</em>(Key Dist...
CDH - CDH 最新版本 6.0.1 安装详解。超详细,并有各种问题解决方法
参考文章 : nn官方文档 nnhttps://www.cloudera.com/documentation/enterprise/6/6.0/topics/installation.htmlnn nnCDH常见问题及解决方法(待续)nnhttps://blog.csdn.net/qq_24699959/article/details/80310070nnnCDH 6.0.1 集群搭建 「Proc...
CDH平台Solr initialize failed错误分析与暴力解决方法
搭建好<em>cdh</em>平台之后,不知道误删了什么文件,导致添加Solr服务时在初始化阶段显示Solr initialize failed,初始化<em>失败</em>,重新安装服务甚至多次重新安装<em>cdh</em>平台依然是这种状况。查看日志显示如下:rnrn15/Sep/2018 18:52:53 +0000 org.apache.solr.common.cloud.ZkStateReader$3 processrnWARNING: Zoo...
关于Cloudera Hadoop的安装(CentOS)- 官文标注(待完成)
CDH 5 and Cloudera Manager 5 Requirements and Supported VersionsnnIn an enterprise data hub, Cloudera Manager and CDH interact with several products such as Apache Accumulo, Apache Impala (incubatin
开启Hadoop安全认证之后的问题及解决方案简述
Hadoop 安全认证 Security Kerberos openldap
重启CDH的方法以及问题解决
重启CDH的方法如下:nnservice cloudera-scm-server-db restartnservice cloudera-scm-server restartnservice cloudera-scm-agent restart(这个还需要在每个slave上执行)nnnnnnnnn启动服务cloudera-scm-server时会遇到过一段时间自己挂掉,并
基于Kerberos认证的TCP通信
1 前言<em>kerberos</em>是一种安全协议,它涉及到三个部分:KDC、 Server端 与 Client端的代码。对于Kerberos 的整个认证过程,有很多介绍。但是对于如何在一个已有TCP程序中进行<em>kerberos</em>认证,一直不知道如何使用。前段时间在oracle的文件中,找到一个server与client的样例,结合这个用例,将它进行改写,便于理解。 n前置说明:nKDC需要保证能正常运行n有对应的
Java通过认证kerberos连接HDFS
针对java语言中通过<em>kerberos</em>认证访问hadoop环境可以利用第三方api包。UserGroupInformation这个类JAAS 框架上封装了Hadoop 的用户信息,更确切地说是subject做了一层封装: UserGroupInformation(Subject subject) {n this.subject = subject;n this.user = su...
Kerberos LDAP 主-从配置管理
rn rn<em>kerberos</em> 主从安装rn操作系统 ubuntu 12.04 rn rnrnrnnrn1rn2rn3rn4rn5rn6rn7rn8rn9rn10rn11rn12rn13rn14rnrnrnrnKerberos Serverrn#####################   规范介绍    #######################################rnn    Re...
如何在CDH中安装和使用StreamSets
源文档nhttps://cloud.tencent.com/developer/article/1078852n1.关于StreamSetsnStreamSets由Informatica前首席产品官Girish Pancha和Cloudera前开发团队负责人Arvind Prabhakar于2014年创立。他们成立该公司主要是应对来自动态数据(data in motion)的挑战 - 包括数据源,...
Windows环境下Kerberos的配置
1 实验环境rn1.1 硬件环境rnrnrnrnrnvirtualbox虚拟机rnrnrnrnrnWindows server 2003中文企业版rnrnrnWindows 7 旗舰版rnrnrnWindows server 2003 x64中文企业版镜像rn链接:https://pan.baidu.com/s/1d-jmoVLPiU3Wfs-aQSM4Bgrn提取码:7cl0rnWindows server 2013中文企业版安装过程...
单机 kafka 配置 kerberos,设置 ACL 权限
kafka 配置 <em>kerberos</em>,设置 ACL权限, java 客户端连接。
Ambari和ClouderaManager主要不同对比
Ambari和ClouderaManager主要的不同对比n 打算对新建的hadoop集群使用管理工具,列了以下主要的不同点: 主要的不同点n apache Ambarin ClouderaManager Express(免费版) 配置版本控制和历史记录n 支持n 不支持n 二次开发n 支持n 不支持n <em>集成</em>n 支持n no (不支持redis、kylin、es)n 维护
HUE简介及部署集成
一:Hue简介及核心功能描述rnrnHue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的。rnrn通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapRed
CDH中Zookeeper启动失败
n n n CDH中Zookeeper启动<em>失败</em>n解决:n1、查看/var/lib/zookeeper中是否有的myidn2、对该目录赋权,chown zookeeper:zookeeper /var/lib/zookeepern另外,HBASE在CDH集群重启后似乎也不释放连接(??)nn n nn...
kerberos安装配置与使用
1.Kerberos协议: nKerberos协议主要用于计算机网络的身份鉴别(Authentication), 其特点是用户只需输入一次身份验证信息就可以凭借此验证获得的票据(ticket-granting ticket)访问多个服务,即SSO(Single Sign On)。由于在每个Client和Service之间建立了共享密钥,使得该协议具有相当的安全性 n2.1. 环境配置nn  安装k...
[CDH启动组件报错UNKNOW]--zookeeper或者其他组件重启出错
一、情景:当CDH集群初次启动后,过了一段时间,然后再重启其中组件时,不能启动,cm界面报Unknow错误。二、错误信息:      UNKNOW三、分析:      1、了解cloudera <em>manager</em>的工作原理      2、判断是哪个工作流程出问题      3、查看cloudera agent和zookeeper的日志四、解决方法:      重启组件所在的cloudera agent...
Kerberos加密级别不支持的问题
n n n 1.问题现象nZookeeper开启<em>kerberos</em>认证后出现如下问题,不支持的加密级别:n2017-02-23 09:20:57,048 [myid:1] - WARN [NIOWorkerThread-1:ZooKeeperServer@1080] - Client failed to SASL authenticate: javax.securit...
flume集成CDH步骤与异常解决
1、  确定你的flume在哪台主机上2、  确认该台主机上的flume是否可以正常使用? 在指定的目录下,创建一个bigdata_page_to_hive.conf内容可以是官网的实例:http://flume.apache.org/FlumeUserGuide.html启动:flume-ng agent --conf conf --conf-file bigdata_page_to_hive....
【大数据安全】CDH集群禁用Kerberos
rn 在调试Kerberos的时候可能会有需要禁用的场景。以下是各组件禁用Kerberos的相关配置。n环境nnCDH版本:5.11.2nnLinux版本:7.4.1708nDocker版本:Docker version 18.06.0-cenJDK版本:1.8nnZookeepernnenableSecurity (Enable Kerberos Authentication) : fals...
CDH 5.13.2集成 Kafka manager已编译(正式环境已测试)
sbt已经编译,正式环境编译好的kafka <em>manager</em>,可以直接用
Oozie启动作业遇到的坑
基于Kerberos权限认证对利用Oozie启动作业环境Oozie启动作业的命令(启动的是Oozie的官方examples)运行oozie命令,运行 examples中的job查看oozie web UI要改变运行Job的Userrn环境rnCDH-5.14.2rnOozie启动作业的命令(启动的是Oozie的官方examples)rn在系统中找到 oozie-examples.tar.gz,加压缩后出现...
使用API访问开启kerberos集群下的HDFS
# 使用 Java API访问开启安全Kerberos的Hdfs
基于 Kerberos 认证的 Hadoop Token 过期问题 Debug 过程
1 KerberosnnKerberos是诞生于上个世纪90年代的计算机认证协议,被广泛应用于各大操作系统和Hadoop生态系统中。了解Kerberos认证的流程将有助于解决Hadoop集群中的安全配置过程中的问题。nnnn1.1 Kerberos可以用来做什么nn简单地说,Kerberos提供了一种单点登录(SSO)的方法。考虑这样一个场景,在一个网络中有不同的服务器,比如,打印服务器、邮件服务...
kerberos工作原理
谈谈<em>kerberos</em>。
密钥分发中心(KDC)
n n n 密钥分发中心(KDC)nn密钥分发中心是一种运行在物理安全服务器上的服务,KDC维护着领域中所有安全主体账户信息数据库。n与每一个安全主体的其他信息一起,KDC存储了仅安全主体和KDC知道的加密密钥,这个密钥也称长效密钥(主密钥),用于在安全主体和KDC之间进行交换。nKDC是作为发起方和接收方共同信任的第三方,因为他维护者一个存储着该域中所有账户的账户数...
Sqoop2开启Kerberos安全模式
n n n Sqoop2开启Kerberos安全模式,n基于版本sqoop-1.99.7,n在已经安装好的sqoop2环境上配置<em>kerberos</em>。n1.安装规划n10.43.159.9 zdh-9nsqoop2krb/zdh1234n10.43.159.11 zdh-11n<em>kerberos</em> servern2.创建keytabn在zdh-11上,登陆root用户在/ro...
使用Spark/Java读取已开启Kerberos认证的HBase
1.赋予drguo用户相应的权限nnnn2.KDC中创建drguo用户并导出相应的keytab文件nnnn[root@bigdata28 ~]# kadmin.local nAuthenticating as principal drguo/admin@AISINO.COM with password.nkadmin.local: addprinc drguo/bigdata28nWARNING...
CDH5.11环境下用java的API操作hive
创建一个maven项目,pom.xml文件配置如下n`&amp;amp;lt;?xml version=&amp;quot;1.0&amp;quot; encoding=&amp;quot;UTF-8&amp;quot;?&amp;amp;gt;nn4.0.0n&amp;amp;lt;groupId&amp;amp;gt;eccom&amp;amp;lt;/groupId&amp;amp;gt;n&amp;amp;lt;artifactId&amp;amp;gt;hive&amp;amp;lt;/artif
CDH中NodeManager启动失败
Cloudera node<em>manager</em> 启动<em>失败</em>概述生产环境由于下机器过程有些依赖环境需要重启node<em>manager</em>。但是重启提示<em>失败</em>:1.Command aborted because of exception: Command timed-out after 150 seconds故障解决查看cloudera-scm-service,cloudera-scm-agent日志重启clouder...
CDH5.7/5.8离线安装-使用CM5,基于CentOS 6.7
截至到2016年5月30日,在网上都没有找到离线安装CDH5.6的文章,最新的就是5.6,经过各种试验,总算装好了,记录如下。一、基础环境 n1.操作系统:Centos6.5 Minimal版本 n2.CDH 5.7 n3.Cloudra Manager版本5.7 n4.JDK版本oracle-j2sdk1.7-1.7.0update67-1.x86_64.rpm n5.使用VirtualBox
Python实现Kerberos用户的增删改查
1、首先模拟python类似shell命令行操作的接口:npython安装subprocess(本地)、paramiko(SSH远程)n#-*- coding: UTF-8 -*-n#!/usr/bin/pythonnimport os, sysnimport subprocessnimport paramikonimport settingsnnclass RunCmd(object):
cdh版本的phoneix安装
Phoenix是一个HBase的开源SQL引擎。你可以使用标准的JDBC API代替HBase客户端API来创建表,插入数据,查询你的HBase数据。在安装HBase中遇到了很多坑,希望把这篇博客分享给大家可以少走点坑。下载使用对应hbase的版本无法使用     http://mirrors.hust.edu.cn/apache/phoenix/      <em>报错</em>信息如下:百度,google半天发...
Cloudera Manager搭建集群服务器启动失败
问题:       cloudera <em>manager</em>搭建集群的服务器暂停一段时间后,启动<em>失败</em>。解决办法:       可能是因为server和agent没有启动在Linux下启动server和agent,重启监控界面的服务即可。此处需要注意的是,有些组件对集群的时间要求比较高,例如HBase,如果遇到关于HBase的以下错误,可以尝试着同步以下集群的时间。       同步时间之后,监控界面重启H...
presto集群安装以及集成kerberos
博客地址:http://www.fanlegefan.comn文章地址:http://www.fanlegefan.com/index.php/2017/07/31/presto<em>kerberos</em>/npresto集群安装安装包下载地址https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.181/presto-server-
安装Cloudera Manager Server和Agent过程中遇到的问题
在安装hadoop 的cloudera <em>manager</em> 和 agent的过程中  版本 5.5.1rn/opt/cm-5.5.1/etc/init.d/cloudera-scm-server start 是能正常启动的rn/opt/cm-5.5.1/etc/init.d/cloudera-scm-agent 则无法正常启动rnrn去查看了一下日志文件,也没有看出是什么错误,然后重装了好几次,还是这
cloudera manager中添加hive数据库使用mysql的配置步骤
cloudera <em>manager</em>中添加hive数据库使用mysql的配置的详细步骤
CDH中flume集成hive常见异常
java.lang.NoClassDefFoundError: org/apache/hive/hcatalog/streaming/RecordWriter1、 没有<em>导入</em>依赖2、 有可能maven没有下载完整3、 包冲突的问题没有依赖包----flume中缺少某个包1、 根据异常信息,确定缺少什么包根据网上的搜索信息,确定缺少某一个包: find / -name 'hive-hcatalog-c...
python操作具有kerberos认证的hive(impala)
▌前言nn      python中用于连接HiveServer2的客户端有3个:pyhs2,pyhive,impyla。官网的示例采用的是pyhs2,但pyhs2的官网已声明不再提供支持,建议使用impyla和pyhive。我选择的python2.7和impala,运行环境Linux、Windows。nn nn▌安装依赖(默认已安装好python2.7、pip)nn   pip install ...
使用cloudera manager进行hadoop安全认证-simple模式
    使用cloudera manger进行hadoop安全认证配置-simple模式
大数据安全管理 -- FreeIPA的使用
1.说明nnHadoop的安全默认套件为Kerberos,我们可以在各个节点上面手动安装Kerberos的各个组件。 还可以使用操作系统厂商提供的<em>集成</em>安全套件, FreeIPA就是其中的一个。 HDP也在它们的Ambari安装中支持FreeIPA的部署。 nFreeIPA是CentOS(我只用过这个操作系统,RedHat中名称好象不是这个)提供的一个开源组件。但我觉得它更象是一系列开源软件的集合。...
CDH环境下jdbc连接impala集成kerberos认证
关于CDH环境下jdbc连接impala<em>集成</em><em>kerberos</em>认证,其中用的idea,<em>导入</em>的maven依赖包 和maven好像不一样,具体怎么用代码实现,求各位路过的大佬指教一下,小弟谢谢了nn...
机票预订系统论文(不包括程序哦)下载
很不错的论文,包括各种流程图、关系图、用例图。很全面希望对大家有所帮助。 相关下载链接:[url=//download.csdn.net/download/daimaopaopao/2317106?utm_source=bbsseo]//download.csdn.net/download/daimaopaopao/2317106?utm_source=bbsseo[/url]
MATLAB 数学建模与数学实验课件下载
《数学建模与数学实验》课件光盘 使用说明: 1、直接将“test”文件夹拷贝到c:盘上即可使用。 2、本课件中所有程序都在MATLAB6.1中调试通过. 3、若要使用超级链接直接链接到MATLAB,应将MATLAB软件安装在c:盘上。本课件除第4、5、6、14讲链接 到MATLAB6.1外,其余各讲都链接到MATLAB5.3. 相关下载链接:[url=//download.csdn.net/download/elfindemon/2363959?utm_source=bbsseo]//download.csdn.net/download/elfindemon/2363959?utm_source=bbsseo[/url]
基于SIP的视频监控系统关键技术研究和系统设计 论文下载
基于SIP的视频监控系统关键技术研究和系统设计 论文 会话发起协议 SIP 监控系统 相关下载链接:[url=//download.csdn.net/download/ussthao/2421348?utm_source=bbsseo]//download.csdn.net/download/ussthao/2421348?utm_source=bbsseo[/url]
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 大数据cdh视频 cdh大数据课程
我们是很有底线的