hadoop使用distribute cache遇到问题

bottle123 2014-07-29 02:56:49
用eclipse执行hadoop map reduce任务时,
从当前作业中获取要缓存的文件时,
Path[] paths = DistributedCache.getLocalCacheFiles(job);
得到paths 是本地的路径,如我的是:file:\usr\hadoop\tmp\mapred\local\1406616390459\user.csv,报错,java.io.FileNotFoundException,请问这个怎么解决呢,还是说本地就是不能运行,得放到hadoop上面就执行?

...全文
360 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
  • 打赏
  • 举报
回复
DistributedCache.addCacheFile(new URI("hdfs://cloud:9000/user/hadoop/mrinput/a.txt"), conf);
  • 打赏
  • 举报
回复
缓存的文件放到HDFS上面
qingyuan18 2014-07-29
  • 打赏
  • 举报
回复
加hdfs:9100/你的dfs文件路径作为path

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧