929
社区成员
Hadoop的Map和Reduce中能不能打开HDFS文件系统中的文件？
我要做一个图片处理的程序，但是，如果一开始就把整个图片都读进去的话，那么这么大一块数据就要被传递几次（我现在编写的程序是传递给Map要传递一张图片的大小，Map传递给Reduce又要传递一张图片的大小，而Reduce里面的函数还要传递两三次），这样就很浪费时间，同时也浪费空间。我想的是直接把要处理文件的地址传递给Map，Map再把地址传递给Reduce，最后才在Reduce中的相关函数里再去打开文件？请问，Map和Reduce中能打开HDFS中的文件吗？如果能的话怎么打开？
...全文
请发表友善的回复…
发表回复
闵开慧 2014-05-30
- 打赏
- 举报
和正常操作hdfs方法一样，只是放在了map或者reduce中执行而已
Apache Hadoop是一套用于在由通用硬件构建的大型集群上运行应用程序的框架。它实现了Map/Reduce编程范型，计算任务会被分割成小块（多次）运行在不同的节点上。除此之外，它还提供了一款分布式文件系统（HDFS），数据被存储在计算节点上以提供极高的跨数据中心聚合带宽。