Hadoop的Map和Reduce中能不能打开HDFS文件系统中的文件?

KevinWen777 2014-04-21 03:37:01
我要做一个图片处理的程序,但是,如果一开始就把整个图片都读进去的话,那么这么大一块数据就要被传递几次(我现在编写的程序是传递给Map要传递一张图片的大小,Map传递给Reduce又要传递一张图片的大小,而Reduce里面的函数还要传递两三次),这样就很浪费时间,同时也浪费空间。我想的是直接把要处理文件的地址传递给Map,Map再把地址传递给Reduce,最后才在Reduce中的相关函数里再去打开文件?请问,Map和Reduce中能打开HDFS中的文件吗?如果能的话怎么打开?
...全文
224 1 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
闵开慧 2014-05-30
  • 打赏
  • 举报
回复
和正常操作hdfs方法一样,只是放在了map或者reduce中执行而已

932

社区成员

发帖
与我相关
我的任务
社区描述
云计算 云存储相关讨论
社区管理员
  • 云存储
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧