社区
Hadoop生态社区
帖子详情
关于hadoop集群搭建
hao难懂
2019-09-03 10:10:55
搭建集群配置hdfs-site.xml文件时,可以只配置hdfs的副本数量,不配置secondary namenode所在的IP和端口吗,如果这样的话,那它在什么位置
...全文
222
3
打赏
收藏
关于hadoop集群搭建
搭建集群配置hdfs-site.xml文件时,可以只配置hdfs的副本数量,不配置secondary namenode所在的IP和端口吗,如果这样的话,那它在什么位置
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
samme2019
2019-09-25
打赏
举报
回复
etc/hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
<description>副本个数,默认配置是 3,应小于 datanode 机器数量</description>
</property>
配置副本个数
secondary namenode 可以不配置,这个是用来设置主从关系的,没有配置的话,就是单点配置
RivenDong
2019-09-03
打赏
举报
回复
可以指定NameNode节点的名字空间
<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>nn1,nn2</value>
</property>
后面可以设置远程调用的地址和端口,例如:
<property>
<name>dfs.namenode.http-address.mycluster.nn1</name>
<value>master001:50070</value>
</property>
<property>
<name>dfs.namenode.http-address.mycluster.nn2</name>
<value>master002:50070</value>
</property>
4qw
2019-09-03
打赏
举报
回复
hadoop的部分属性配置都是有默认值的,如果你不设置就会按照默认值执行,具体的情况,你可以看下hadoop的启动脚本,以及那些默认项
Hadoop
详细
集群搭建
Hadoop
详细安装 环境:在虚拟机上,或者租一个服务器(用学生证可以认证白嫖喔,阿里云服务器等)
在Linux中进行
hadoop
集群搭建
在公网IP为x.x.x.x、y.y.y.y和z.z.z.z并装有Centos8的服务器上进行
hadoop
集群搭建
,都安装
hadoop
-3.1.3和server-jre-8u202-linux-x64。
Hadoop
集群搭建
Hadoop
集群搭建
基于
Hadoop
集群的Spark
集群搭建
基于
Hadoop
集群的Spark
集群搭建
一. 单机版Spark搭建 (1)将下载下来的软件包拉至集群中(主节点上) (2)解压至指定目录 (3)将解压下的文件移至某个特定目录下并查看 (4)修改环境变量 (5)使环境变量生效并进入scala命令行测试; (6)解压scala压缩包并放置指定目录; (7)添加环境变量 (8)生效环境变量并测试spark(source .bash_pr...
Hadoop
集群搭建
详解,不走弯路
Hadoop
是一个用于分布式存储和处理大规模数据的开源框架。
Hadoop生态社区
20,842
社区成员
4,695
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章