hadoop streaming，reducer中是否可以把文件写入本地？

winfield821 2016-08-01 12:31:06

比如C++写的reducer，reducer中如果写fstream off(***)，off << "asdf"，这样是否可以呢？off建立的文件会写在何处？

...全文

1155 回复打赏收藏举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

Hadoop 的Streaming 1、概述 Hadoop Streaming是Hadoop提供的一个编程工具，它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer，例如：采用shell脚本语言中的一些命令作为mapper和reducer（cat作为mapper，wc作为reducer） $HADOOP_HOME/bin/hadoop jar $HADOOP_H

参考： https://www.cnblogs.com/hopelee/p/7476145.html https://blog.csdn.net/zhaoyl03/article/details/8657031 上一篇文章，学习了搭建hadoop 环境，现学习如果使用python编写mapper 和reducer。如未搭建hadoop环境，请参考hadoop搭建 Had...

Streaming简介Streamining框架允许任何程序语言实现的程序在Hadoop MapReduce中使用，方便已有程序向Hadoop平台移植。因此可以说对于hadoop的扩展性意义重大。Streamining的原理是用Java实现一个包装用户程序的MapReduce程序，该程序负责调用MapReduce Java 接口获取key/value对输入，创建一个新的进程启动包装的用户程序，将数据

之前已经提到，当Map/Reduce框架从mapper的标准输入读取一行时，它把这一行切分为key/value对。在默认情况下，每行第一个tab符之前的部分作为key，之后的部分作为value（不包括tab符）。但是，用户可以自定义，可以指定分隔符是其他字符而不是默认的tab符，或者指定在第n（n>=1）个分割符处分割而不是默认的第一个。

这两年零零散散用hadoop做了些项目，也看了些hadoop相关资料，每回都是现学现用。这回做kbuild项目，要用到hadoop streaming，发现很多东西又忘了，趁这次机会把hadoop相关的知识再过一遍整理下。 hadoop由两部分构成，分布式文件系统hdfs，和并行计算框架map-reduce。做应用开发，都是跟map-reduce打交道；hdfs逻辑上相对来说比较简单，可以参考：

Hadoop生态社区

20,842

社区成员

4,695

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章