社区
OpenAPI
帖子详情
hadoop HDFS文件移动
hello1458
2015-09-02 03:24:33
HDFS文件可以从本地上传或从HDFS下载到本地。
我的问题是,怎么从HDFS目录移动到另一个HDFS目录。
比如, hdfs://user/tmp 移动到 hdfs://user/test
JAVA有相关的API吗?
...全文
7931
7
打赏
收藏
hadoop HDFS文件移动
HDFS文件可以从本地上传或从HDFS下载到本地。 我的问题是,怎么从HDFS目录移动到另一个HDFS目录。 比如, hdfs://user/tmp 移动到 hdfs://user/test JAVA有相关的API吗?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
7 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
one_world-one_dream
2018-01-17
打赏
举报
回复
应该没有吧!!!
_delin
2016-05-26
打赏
举报
回复
你只要记住一点,在hdfs上的操作,大部分就是普通的inux命令前面加【hdfs dfs -】就行了
yeyahuixiaqing
2016-05-19
打赏
举报
回复
我也有相同的疑问,楼主解决了吗?
qunyi35
2015-09-11
打赏
举报
回复
谢谢楼主分享。来支持你了
yueyeqingsi
2015-09-10
打赏
举报
回复
COPY xuexi
海兰
2015-09-08
打赏
举报
回复
hadoop fs -mv URI [URI ...] <dest> 给你举个例子: hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2 hadoop fs -mv hdfs://nn.example.com/file1 hdfs://nn.example.com/file2 hdfs://nn.example.com/file3 hdfs://nn.example.com/dir1
大数据_06 【
hadoop
HDFS
文件
读写流程】
大数据_05 【
hadoop
HDFS
文件
读写流程】01
文件
写入过程02
文件
读取过程03 数据校验04 DataNode节点丢失周期05 DataNode的目录结构 01
文件
写入过程 详细步骤解析: 1、 client发起
文件
上传请求,通过RPC与NameNode建立通讯,NameNode检查目标
文件
是否已存在,父目录是否存在,返回是否可以上传; 2、 client请求第一个block该传输到哪些DataNode服务器上; 3、 NameNode根据配置
文件
中指定的备份数量及机架感知原理进行
文件
分配
Hadoop
HDFS
分布式
文件
系统(介绍以及基础操作命令)
HDFS
是
Hadoop
三大组件(
HDFS
、MApReduce、YARN)之一。全称是
Hadoop
Distributed File System(
Hadoop
分布式
文件
系统)。是
Hadoop
技术栈内提供的分布式数据存储解决方案,可以在多台服务器上构建集群,存储海量的数据。2.
HDFS
基础架构
HDFS
是一个典型的主从模式的架构
HDFS
集群分为三个角色:主节点(NameNode):
HDFS
系统的主角色,是一个独立的进程,负责管理
HDFS
整个
文件
系统,负责管理DataNode。
hadoop
HDFS
的
文件
夹创建、
文件
上传、
文件
下载、
文件
夹删除,
文件
更名、
文件
详细信息、
文件
类型判断(
文件
夹或者
文件
)
本篇文章主要介绍的是
hadoop
hdfs
的基础api的使用。包括Windows端依赖配置,Maven依赖配置。最后就是进行实际的操作,包括:获取远程
hadoop
hdfs
连接,并对其进行的一系列操作,包括;
文件
夹创建、
文件
上传、
文件
下载、
文件
(夹)删除、
文件
更名或
移动
、
文件
详细信息的获取并打印到控制台,以及
文件
类型的判断(
文件
夹或
文件
)并打印对应
文件
(夹)的详细信息。
hadoop
HDFS
常用
文件
操作命令
hadoop
HDFS
常用
文件
操作命令 命令基本格式:
hadoop
fs -cmd < args > 1. ls 列出
hdfs
文件
系统根目录下的目录和
文件
hadoop
fs -ls /dir 1
hadoop
fs -ls -R /dir --列出
hdfs
文件
系统所有的目录和
文件
2.put
hadoop
fs -put --
hdfs
file的父目录一定要存在,否则命令不会执行
hadoop
fs -put --
hdfs
dir 一定要存在,否则命令不会执行
hadoop
fs -put
hadoop
hdfs
文件
读取写入流程
HDFS
文件
读取的过程 1).使用
HDFS
提供的客户端开发库Client,向远程的Namenode发起RPC请求; 2).Namenode会视情况返回
文件
的部分或者全部block列表,对于每个block,Namenode都会返回有该block拷贝的DataNode地址; 3).客户端开发库Client会选取离客户端最接近的DataNode来读取block;如果客户端本身就是DataNode,那么将从本地直接获取数据. 4).读取完当前block的数据后,关闭与当前的DataNode连接,并为读取下一
OpenAPI
2,245
社区成员
699
社区内容
发帖
与我相关
我的任务
OpenAPI
OpenAPI
复制链接
扫一扫
分享
社区描述
OpenAPI
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章