现在2024年的hadoop是否支持在ipv6环境下部署？

iwhp 2024-10-31 17:16:13

现在2024年的hadoop是否支持在ipv6环境下部署？

...全文

169 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

luzixuailujue 2024-11-30

打赏
举报

回复

不支持

Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。（1）NameNode：存储文件的元数据信息，如文件名、目录结构、文件属性（生成时间、副本数、文件权限等）、每个文件的块列表和块所在的DataNode等。（2）DataNode：在本地文件系统中存储文件块数据，以及块数据的校验和。（3）SecondaryNameNode：每隔一段时间对NameNode元数据备份（在高可用模式中不需要）。

大数据开发相关组件部署及数据抽取，2.hadoop集群部署 2.1jdk的部署和安装 2.2 Hadoop?集群配置 3.hive组件部署 3.1 MYSql数据库部署 3.2Hive部署 4.spark组件部署 5.Flink组件部署 6.Flume组件部署 7.Zookeeper组件部署 8.Kafka组件部署 9.MaxWell组件部署 10.Redis组件部署 11.Hbase:组件部署 12.Clickhouse组件部署

由于Hadoop集群的机器之间ssh通信默认需要输入密码，在集群运行时我们不可能为每一次通信都手动输入密码，因此需要配置机器之间的ssh的免密登录。上面配置的是单机的zookeeper，但是一般单机zookeeper没用要配置多个zookeeper集群才方便使用，要求zookeeper是奇数，3台5台这样的。启动Hadoop环境，刚启动Hadoop的HDFS系统后会有几秒的安全模式，安全模式期间无法进行任何数据处理，这也是为什么不建议使用。

介绍了Hadoop完全分布式构建的详细过程，包括java版本、static user权限踩坑指南，4个xml配置文件的尽可能最小集尝试和解释，及根据start-dfs.sh，start-yarn.sh脚本分析得来的Hadoop完全手工启动流程。

docker为什么出现？应用开发时的环境一款产品:开发--上线两套环境!应用环境，应用配置!开发 … 运维。问题：我在我的电脑上可以运行!版本更新，导致服务不可用!对于运维来说,考验就十分大?环境配置是十分的麻烦，每一个机器都要部署环境(集群Redis、ES、Hadoop.)!费时费力。发布一个项目(jar+(Redis MySQL jdk ES))，项目能不能都带上环境安装打包!

Hadoop生态社区

20,846

社区成员

4,695

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章