求大佬解惑,想在hadoop上集成keycloak的身份验证,不知道如何下手,在网上也找不到资料

yamilaa 2025-02-22 14:30:03

hadoop的版本是3.3.6,keycloak是docker上直接拉的18.0的镜像,找ds问ds给的方案是在core-site.xml里面加上像下面的配置,但是加上后就启动不了hadoop了,还显示Starting datanodes localhost: ERROR: Cannot set priority of datanode process 4556 Exception in thread "main" java.lang.IllegalArgumentException: Invalid attribute value for hadoop.security.authentication of oauth2 at org.apache.hadoop.security.SecurityUtil.getAuthenticationMethod(SecurityUtil.java:735) at org.apache.hadoop.security.UserGroupInformation.initialize(UserGroupInformation.java:312) at org.apache.hadoop.security.UserGroupInformation.ensureInitialized(UserGroupInformation.java:300) at org.apache.hadoop.security.UserGroupInformation.getCurrentUser(UserGroupInformation.java:575) at org.apache.hadoop.hdfs.tools.GetConf.run(GetConf.java:344) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:82) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:97) at org.apache.hadoop.hdfs.tools.GetConf.main(GetConf.java:361)

<configuration>
  <!-- 启用OAuth2认证类型 -->
  <property>
    <name>hadoop.security.authentication</name>
    <value>oauth2</value>
  </property>

  <!-- OAuth2客户端凭证 -->
  <property>
    <name>hadoop.security.oauth2.client.id</name>
    <value>hadoop-webhdfs-client</value> <!-- Keycloak中注册的客户端ID -->
  </property>
  <property>
    <name>hadoop.security.oauth2.client.secret</name>
    <value>your_client_secret_here</value> <!-- Keycloak中生成的客户端密钥 -->
  </property>

  <!-- OAuth2服务端点 -->
  <property>
    <name>hadoop.security.oauth2.token.endpoint</name>
    <value>http://keycloak-host:port/realms/hadoop-realm/protocol/openid-connect/token</value>
  </property>
  <property>
    <name>hadoop.security.oauth2.authorization.endpoint</name>
    <value>http://keycloak-host:port/realms/hadoop-realm/protocol/openid-connect/auth</value>
  </property>

  <!-- WebHDFS访问模式 -->
  <property>
    <name>hadoop.http.authentication.type</name>
    <value>oauth2</value>
  </property>
</configuration>
 

...全文
71 回复 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
内容概要:本文档详细介绍了基于CNN-BiLSTM架构的多变量时序预测项目,旨在解决传统方法难以处理的多变量间复杂非线性关系和长期依赖问题。项目通过卷积神经网络(CNN)自动提取局部特征,结合双向长短期记忆网络(BiLSTM)捕捉序列的双向依赖,构建了高效的预测模型。文档涵盖了项目背景、目标、挑战及解决方案,并提供了模型架构和代码示例。模型架构包括数据输入层、卷积特征提取层、双向LSTM时序建模层和全连接输出层,通过端到端训练自动调整参数,提升泛化能力和预测准确性。; 适合人群:具备一定编程基础,特别是对深度学习和时序数据分析感兴趣的开发者、研究人员及工程师。; 使用场景及目标:①应用于工业设备状态监测、金融市场分析、气象预测、交通流量预估等多领域;②通过自动化特征提取和时间依赖建模,减少专家干预,提高预测精度和模型鲁棒性;③优化模型训练和推理速度,满足实时预测需。; 阅读建议:文档不仅包含理论讲解,还有详细的代码实现和模型架构介绍,建议读者结合实际案例进行实践,重点关注数据预处理、模型训练调优及预测性能提升等方面的内容。

6,124

社区成员

发帖
与我相关
我的任务
社区描述
专注于分享大数据相关技术,包括Hadoop、Spark、Flink、Kafka、Hive、 HBase等,社区人员均可提出编程中遇到的疑难杂症、程序bug等等问题,博主看到后会及时回答!
hivesparkflink 个人社区 北京·顺义区
社区管理员
  • 笑看风云路
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧