社区
其他技术讨论专区
帖子详情
问个问题 hadoop的mapreduce程序输入可以是本地系统(非HDFS文件)吗?
weixin_38058190
2017-03-08 03:24:21
比如,在我的IDE输入参数设置为 data/in data/out,这个data目录是我的工程目录,在我的hdfs中没有。测试结果远程提交任务报不是hdfs文件名,在集群的slave节点提交是可以的。另外,本地文件提交作业貌似也会分片,这样的话在hdfs中会存储吗?
...全文
8
回复
打赏
收藏
问个问题 hadoop的mapreduce程序输入可以是本地系统(非HDFS文件)吗?
比如,在我的IDE输入参数设置为 data/in data/out,这个data目录是我的工程目录,在我的hdfs中没有。测试结果远程提交任务报不是hdfs文件名,在集群的slave节点提交是可以的。另外,本地文件提交作业貌似也会分片,这样的话在hdfs中会存储吗?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
Hadoop
源码分析 完整版 共55章
- **包结构及依赖**:
Hadoop
的包结构
非
常复杂,这主要归因于
HDFS
提供了统一的
文件
系统
接口,使得开发者能够无缝地在不同的
文件
系统
之间切换,包括本地
文件
系统
、分布式
文件
系统
乃至云存储服务(如Amazon S3)。...
Hadoop
:
MapReduce
使用
hdfs
中的
文件
并计数
文件
hdfs
:///copyOftest.c中的wordcount计数,有别于
Hadoop
的examples中的读取本地
文件
系统
中的
文件
,这次读取的是
HDFS
中的
文件
。 package com.fora; import java.io.IOException; impor
Hadoop
: Intellij结合Maven本地运行和调试
MapReduce
程序
(无需搭载
Hadoop
和
HDFS
环境)
Hadoop
: Intellij结合Maven本地运行和调试
MapReduce
程序
(无需搭载
Hadoop
和
HDFS
环境) 2016-05-24 12717
Hadoop
maven 39
Hadoop
: Run and Debug
Hadoop
MapReduce
Applications with Intellij IDEA and...
Hadoop
笔记(一)
HDFS
和
MapReduce
体系结构
Hadoop
2.0 包含 Common、
HDFS
、Yarn 和
MapReduce
四个模块,Common 主要为其它模块提供服务,
MapReduce
其实是 Yarn 模块里的一种编程方式,实际对外提供服务的只有
HDFS
和 Yarn。 目录Common
HDFS
特点体系架构 ...
Hadoop
系列文章SpringBoot编程实现
HDFS
读写
文件
、
MapReduce
程序
Hadoop
系列文章 SpringBoot编程实现
HDFS
读写
文件
、
MapReduce
程序
实现
HDFS
操作引入依赖winutils码代码读取
HDFS
中的
文件
写内容到
文件
中
MapReduce
操作码代码将
程序
放到服务器中运行 在Apache
Hadoop
2中。Apache已经将...
其他技术讨论专区
476
社区成员
791,036
社区内容
发帖
与我相关
我的任务
其他技术讨论专区
其他技术讨论专区
复制链接
扫一扫
分享
社区描述
其他技术讨论专区
其他
技术论坛(原bbs)
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章