932
社区成员
发帖
与我相关
我的任务
分享Hadoop的Map和Reduce中能不能打开HDFS文件系统中的文件？
我要做一个图片处理的程序，但是，如果一开始就把整个图片都读进去的话，那么这么大一块数据就要被传递几次（我现在编写的程序是传递给Map要传递一张图片的大小，Map传递给Reduce又要传递一张图片的大小，而Reduce里面的函数还要传递两三次），这样就很浪费时间，同时也浪费空间。我想的是直接把要处理文件的地址传递给Map，Map再把地址传递给Reduce，最后才在Reduce中的相关函数里再去打开文件？请问，Map和Reduce中能打开HDFS中的文件吗？如果能的话怎么打开？
...全文
请发表友善的回复…
发表回复
闵开慧 2014-05-30
- 打赏
- 举报
和正常操作hdfs方法一样，只是放在了map或者reduce中执行而已
