现在2024年的hadoop是否支持在ipv6环境下部署？

iwhp 2024-10-31 17:16:13

现在2024年的hadoop是否支持在ipv6环境下部署？

...全文

124 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

luzixuailujue 2024-11-30

打赏
举报

回复

不支持

Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。（1）NameNode：存储文件的元数据信息，如文件名、目录结构、文件属性（生成时间、副本数、文件权限等）、每个文件的块列表和块所在的DataNode等。（2）DataNode：在本地文件系统中存储文件块数据，以及块数据的校验和。（3）SecondaryNameNode：每隔一段时间对NameNode元数据备份（在高可用模式中不需要）。

由于Hadoop集群的机器之间ssh通信默认需要输入密码，在集群运行时我们不可能为每一次通信都手动输入密码，因此需要配置机器之间的ssh的免密登录。上面配置的是单机的zookeeper，但是一般单机zookeeper没用要配置多个zookeeper集群才方便使用，要求zookeeper是奇数，3台5台这样的。启动Hadoop环境，刚启动Hadoop的HDFS系统后会有几秒的安全模式，安全模式期间无法进行任何数据处理，这也是为什么不建议使用。

大数据开发相关组件部署及数据抽取，2.hadoop集群部署 2.1jdk的部署和安装 2.2 Hadoop?集群配置 3.hive组件部署 3.1 MYSql数据库部署 3.2Hive部署 4.spark组件部署 5.Flink组件部署 6.Flume组件部署 7.Zookeeper组件部署 8.Kafka组件部署 9.MaxWell组件部署 10.Redis组件部署 11.Hbase:组件部署 12.Clickhouse组件部署

介绍了Hadoop完全分布式构建的详细过程，包括java版本、static user权限踩坑指南，4个xml配置文件的尽可能最小集尝试和解释，及根据start-dfs.sh，start-yarn.sh脚本分析得来的Hadoop完全手工启动流程。

小编在这里分享些我自己平时的学习资料，由于篇幅限制，pdf文档的详解资料太全面，细节内容实在太多啦，所以只把部分知识点截图出来粗略的介绍，每个小节点里面都有更细化的内容！程序员代码面试指南 IT名企算法与数据结构题目最优解这是” 本程序员面试宝典!书中对IT名企代码面试各类题目的最优解进行了总结，并提供了相关代码实现。针对当前程序员面试缺乏权威题目汇总这一-痛点，本书选取将近200道真实出现过的经典代码面试题，帮助广“大程序员的面试准备做到万无一失。“刷”完本书后，你就是“题王”!

Hadoop生态社区

20,848

社区成员

4,696

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章