Hadoop的Map和Reduce中能不能打开HDFS文件系统中的文件?

KevinWen777 2014-04-21 03:37:01
我要做一个图片处理的程序,但是,如果一开始就把整个图片都读进去的话,那么这么大一块数据就要被传递几次(我现在编写的程序是传递给Map要传递一张图片的大小,Map传递给Reduce又要传递一张图片的大小,而Reduce里面的函数还要传递两三次),这样就很浪费时间,同时也浪费空间。我想的是直接把要处理文件的地址传递给Map,Map再把地址传递给Reduce,最后才在Reduce中的相关函数里再去打开文件?请问,Map和Reduce中能打开HDFS中的文件吗?如果能的话怎么打开?
...全文
207 1 打赏 收藏 举报
写回复
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
闵开慧 2014-05-30
  • 打赏
  • 举报
回复
和正常操作hdfs方法一样,只是放在了map或者reduce中执行而已
相关推荐
Apache Hadoop是一套用于在由通用硬件构建的大型集群上运行应用程序的框架。它实现了Map/Reduce编程范型,计算任务会被分割成小块(多次)运行在不同的节点上。除此之外,它还提供了一款分布式文件系统HDFS),数据被存储在计算节点上以提供极高的跨数据聚合带宽。
发帖
云存储

929

社区成员

云计算 云存储相关讨论
社区管理员
  • 云存储
加入社区
帖子事件
创建了帖子
2014-04-21 03:37
社区公告
暂无公告