社区
Hadoop生态社区
帖子详情
ubuntu配置伪分布式hadoop时格式化失败,请问是什么原因?
A 刘祥锋
2019-04-17 09:20:40
在使用ubuntu配置伪分布式的hadoop,但格式化一直失败,没有自动生成dfs文件夹,使用命令: hdfs namenode -format 后也会报错出现No command 'hdfs' found, did you mean: 的命令是什么原因造成的???
...全文
407
3
打赏
收藏
ubuntu配置伪分布式hadoop时格式化失败,请问是什么原因?
在使用ubuntu配置伪分布式的hadoop,但格式化一直失败,没有自动生成dfs文件夹,使用命令: hdfs namenode -format 后也会报错出现No command 'hdfs' found, did you mean: 的命令是什么原因造成的???
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
张伯毅
2019-04-24
打赏
举报
回复
你去吧 /user/local/hadoop 里面关于 hadoop 的 元数据文件删除了试一下. 千万不要多次格式化!!!!!!!!!!! 记得,在 hdfs-site.xml 配置 一下 namenode 的数据目录. 默认/tmp 目录 , 重启之后,操作系统会吧/tmp 目录清空.导致元数据丢失. hdfs-site.xml <property> <name>dfs.journalnode.edits.dir</name> <value>/tools/hadoop-3.2.0/data/hdfs/journalnode</value> </property> <property> <name>dfs.namenode.checkpoint.dir</name> <value>/tools/hadoop-3.2.0/data/hdfs/namesecondary</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/tools/hadoop-3.2.0/data/hdfs/namenode</value> <final>true</final> </property> <property> <name>dfs.datanode.data.dir</name> <value>/tools/hadoop-3.2.0/data/hdfs/data</value> <final>true</final> </property>
A 刘祥锋
2019-04-17
打赏
举报
回复
这是重启后在格式化的问题
这是格式化后报的错误,小白一个,望大神指教啊
A 刘祥锋
2019-04-17
打赏
举报
回复
伪
分布式
基于
hadoop
3.1.3生态环境大数据集群
1.本机虚拟机镜像为ova格式,大小为2.9G,仅限VirtualBox使用,本机无图形界面!请注意! 2.本机为
ubuntu
16.04服务器版本,无图形化界面,剔除无用冗杂的三方软件,速度更快。
hadoop
=3.1.3 jdk=1.8.0_162 hbase=2.2.2 mysql=5.7.3 hive=3.1.2 scala=2.11.12 spark=2.4.0 sbt=1.3.8 flink=1.9.1 maven=3.6.3 建议配合主机的IntelliJ-IDEA的Bigdata拓展工具以及SSH服务进行远程操控使用。 3.本机密码都是“
hadoop
”。 4.mysql5.7用户名为"root",密码为"
hadoop
"。 5.使用
hadoop
集群前,需要根据本地虚拟机的IP地址修改/etc/hosts文件中的host
配置
。
Ubuntu
11.10下安装
Hadoop
0.20.2(单机
伪
分布式
)
成功实现
Ubuntu
11.10下安装
Hadoop
0.20.2(单机
伪
分布式
)。涉及内容:1. 安装虚拟机VMware Workstation v7.1.4 2. 在虚拟机上安装
ubuntu
11.10 3. 为
ubuntu
11.10安装vmware tool 4. 安装JAVA6 5. 在
ubuntu
中安装ssh 6. 设置ssh免密码登陆 7. 安装
hadoop
8.
格式化
分布式
文件系统 9. 启动
hadoop
进程 10. 检测安装情况
Hadoop
3.x环境搭建、
伪
分布式
部署、集群部署
Hadoop
3.x中引入了一些重要的功能和优化,因此很有必要... 课程目录: 1、
Hadoop
3.x环境基础环境构建 2、
Hadoop
3.x
伪
分布式
部署 3、
Hadoop
3.x
伪
分布式
部署补充 4、
Hadoop
3.x HA集群部署 5、
Hadoop
3.x HA集群部署补充
徐老师大数据
Hadoop
架构完全分析课程
Hadoop
入门学习视频教程
-001.
Hadoop
介绍.mp4 -002.VMware安装.mp4 -003.
Ubuntu
下载与虚拟机下安装.mp4 -004.
Ubuntu
常用命令.mp4 -005.
Ubuntu
目录和权限.mp4 -006.
Ubuntu
软件包桌面程序以及增强工具.mp4 -007.
Ubuntu
本地软件源与ISO制作.mp4 -008.
Ubuntu
克隆与Mac生成-网络连接方式.mp4 -009.
Hadoop
在
Ubuntu
下安装JDK.mp4 010.
Hadoop
在
Ubuntu
下安装
Hadoop
.mp4 011.
Hadoop
配置
独立模式.mp4 012.
Hadoop
配置
伪
分布模式.mp4 013.
Hadoop
配置
完全分布模式之修改虚拟机名称和目录.mp4 014.
Hadoop
配置
完全分布模式之修改登录提示和主机名.mp4 -015.
Hadoop
配置
完全分布模式之使用符号链接实现
配置
分离.mp4 -016.
Hadoop
配置
完全分布模式之克隆客户机与交互模式切换与hosts文件修改与ssh远程无密登录.mp4 -017.
Hadoop
配置
完全分布模式之IP设置与远程拷贝与
格式化
启动.mp4 -018.
Hadoop
在Win7下免Cygwin环境安装
伪
分布式
与第三方增强软件介入.mp4 -019.
Hadoop
在Win7下免Cygwin环境安装NativeBug解决与dexpot多桌面应用.mp4 -020.
Hadoop
架构分析之单节点体系.mp4 021.
Hadoop
架构分析之集群结构分析.mp4 022.
Hadoop
架构分析之HDFS架构分析.mp4 023.
Hadoop
架构分析之NN和DN原生文档解读.mp4 024.
Hadoop
架构分析之启动脚本分析(集群id的兼容处理与start-allcmd解析与批处理命令讲解).mp4 025.
Hadoop
架构分析之启动脚本分析(start-dfs.cmd与
hadoop
-conf.cmd).mp4 026.
Hadoop
架构分析之启动脚本分析(
hadoop
.cmd命令).mp4 027.
Hadoop
架构分析之启动脚本分析(数据
格式化
与hdfs.cmd命令).mp4 028.
Hadoop
架构分析之启动脚本分析(mapred.cmd和虚拟机参数设置).mp4 029.
Hadoop
架构分析之启动脚本分析(start-yarn.cmd命令).mp4 030.
Hadoop
架构分析之启动脚本分析(yarn.cmd与yarn-evn.cmd命令).mp4
CSDN-CODE:停止维护 -->移步 https
CSDN-CODE 博文中涉及到的源码整合。 王小雷-多面手 专注大数据,机器学习的多面手,对新兴的技术与知识充满了好奇与渴望! 超详细从零记录
Ubuntu
16.04.1 3台服务器上
Hadoop
2.7.3完全
分布式
集群部署过程。包含,
Ubuntu
服务器创建、远程工具连接
配置
、
Ubuntu
服务器
配置
、
Hadoop
文件
配置
、
Hadoop
格式化
、启动。(首更
时
间2016年10月27日)
Hadoop
-Configure-
配置
文件 core-site.xml
hadoop
-env.sh hdfs-site.xml mapred-site.xml yarn-site.xml bash-脚本
hadoop
2.7.3.sh jdk1.8.sh 增加Spring案例 .jupyter jupyter_notebook_config.py migrated mycert.pem mykey.key
配置
结
Hadoop生态社区
20,808
社区成员
4,690
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章