社区
Hadoop生态社区
帖子详情
hadoop streaming，reducer中是否可以把文件写入本地？
winfield821
2016-08-01 12:31:06
比如C++写的reducer，reducer中如果写fstream off(***)，off << "asdf"，这样是否可以呢？off建立的文件会写在何处？
...全文
1117
回复
打赏
收藏
hadoop streaming，reducer中是否可以把文件写入本地？
比如C++写的reducer，reducer中如果写fstream off(***)，off << "asdf"，这样是否可以呢？off建立的文件会写在何处？
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
Hadoop
Streaming
官方
中
文文档
Hadoop
Streaming
是
Hadoop
生态系统
中
的一个组件，它允许用户使用自定义的编程语言（如Python、Perl或Ruby）编写Map
Reduce
程序，而不仅仅是Java。这一特性极大地扩展了
Hadoop
的适用范围，使得不同背景的开发者都能够...
Hadoop
Streaming
程序实例
Hadoop
Streaming
是一个强大的工具，它允许用户使用任何可执行
文件
（如Python脚本、Perl或Bash shell命令）作为Map
Reduce
任务的Mapper和
Reduce
r。这个技术使得非Java开发者也能利用
Hadoop
的大数据处理能力。在本文
中
...
Hadoop
Streaming
编程
Hadoop
Streaming
的工作方式是这样的：Mapper 和
Reduce
r 从标准输入
中
读取数据，对每一行进行处理后再将结果
写入
标准输出。
Streaming
工具创建一个 Map
Reduce
作业，并将其分配给 TaskTrackers 运行。Mapper 将...
Hadoop
-
Hadoop
Streaming
$
hadoop
jar
hadoop
-
streaming
.jar -partitioner org.apache.
hadoop
.mapred.lib.KeyFieldBasedPartitioner -mapper mymapper -
reduce
r my
reduce
r -input input -output output ``` 这里 `org.apache.
hadoop
.mapred...
hadoop
streaming
表
Hadoop
Streaming
是
Hadoop
的Map
Reduce
编程模型的一个工具，它允许用户使用非Java语言编写Map
Reduce
作业，使得其他编程语言如Python、...因此，在选择
是否
使用
Hadoop
Streaming
时，需要根据实际情况权衡其便利性和性能。
Hadoop生态社区
20,847
社区成员
4,695
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区，致力于有Hadoop，hive，Spark，Hbase，Flink，ClickHouse，Kafka，数据仓库，大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区，致力于有Hadoop，hive，Spark，Hbase，Flink，ClickHouse，Kafka，数据仓库，大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章
发帖
与我相关
我的任务
分享
