修改hadoop配置文件

超人学院-CRXY 2023-01-12 18:44:29

课时名称	课时知识点
修改hadoop配置文件

...全文

137 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

进入/usr/local/hadoop-3.1.3/etc/hadoop/，修改core-site.xml文件，添加以下部分，注意，以下的master都是自己的主机名称（回顾：使用hostname查看自己的主机名称）设置JAVA_HOME，在/usr/local/hadoop-3.1.3/etc/hadoop/路径下，修改hadoop-env.sh文件,添加以下部分。在/usr/local/hadoop-3.1.3/etc/hadoop/路径下，修改yarn-env.sh文件，在底部添加以下部分。

是否都安装了jdk和hadoop并且配置了环境变量，确保虚拟机之间都能互相ping通以及两两之间能够ssh免密登陆，都完成了网卡、主机名、hosts文件等配置。hadoop的配置文件拷贝给了hadoop2和hadoop3，在hadoop2打开workers。“/opt/server/hadoop”填自己Hadoop的存放位置。路径改成自己的jdk安装路径（vim命令用不了就用vi）hadoop2的workers没被修改，说明没拷贝成功。启动hadoop和yarn一定要在sbin目录下。

（3）修改 core-site.xml 文件在配置文件中添加如下信息fs.defaultFShdfs://hadoop01:9000io.file.buffer.size131072hadoop.tmp.dirfile:/usr/hadoop/tmp（4）修改 hdfs-site.xml 文件在配置文件中添加如下信息dfs.namenode.name.dirfile:/usr/hadoop/dfs/namedfs.namenode.data.dirfile:/usr/hadoop/dfs/datadfs.r

note1：修改hadoop配置文件

一、在每个节点生成公钥和私钥，并拷贝 Hadoop100：生成公钥和私钥命令：ssh-keygen -t rsa 这种情况直接敲（三个回车）将公钥拷贝到要免密登录的目标机器上 [root@hadoop100] ssh-copy-id +自己moba名如图所示：注：自己克隆的都需要输入，第一遍需输入密码（是自己虚拟机的密码），配置成功后就可以不需要密码了。没出错就算是成功的（注：我的是已经配置过了的直接就显示了）当你在...

吴超的课程社区_NO_1

1

社区成员

34

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章