我的输入数据是两个文件,怎么在程序中设置Path in啊

程猿薇茑
Java领域优质创作者
博客专家认证
2014-08-17 11:00:19

run函数中只能设置一个Path in、Path out
但是我的输入文件分别是Orders.txt和Customers.txt(Hadoop实战里面的例子)
应该怎么在程序中设置路径啊
还是在命令行运行时加入路径参数?(请问怎么在命令行书写运行作业的命令?还要把Java程序打包?)
...全文
322 8 打赏 收藏 转发到动态 举报
写回复
用AI写文章
8 条回复
切换为时间正序
请发表友善的回复…
发表回复
程猿薇茑 2014-08-20
  • 打赏
  • 举报
回复
引用 7 楼 weitao1234 的回复:
可以增加路径,也可以设置成文件夹
增加路径的代码怎么写?是不是setInputPath()方法带多个参数?
weitao1234 2014-08-19
  • 打赏
  • 举报
回复
可以增加路径,也可以设置成文件夹
程猿薇茑 2014-08-19
  • 打赏
  • 举报
回复
引用 5 楼 ma130889 的回复:
Path inPath = new Path("hdfs://cdh:9000"+args[0]); Path outPath = new Path("hdfs://cdh:9000"+args[1]); try { // input path FileSystem fs = inPath.getFileSystem(conf); FileStatus[] stats = fs.listStatus(inPath); for (int i = 0; i < stats.length; i++) FileInputFormat.addInputPath(job, stats[i].getPath()); } catch (IOException e1) { e1.printStackTrace(); return; }
我就是按照2楼的做的,行了。 现在的问题是4楼的那个问题
ma130889 2014-08-19
  • 打赏
  • 举报
回复
Path inPath = new Path("hdfs://cdh:9000"+args[0]); Path outPath = new Path("hdfs://cdh:9000"+args[1]); try { // input path FileSystem fs = inPath.getFileSystem(conf); FileStatus[] stats = fs.listStatus(inPath); for (int i = 0; i < stats.length; i++) FileInputFormat.addInputPath(job, stats[i].getPath()); } catch (IOException e1) { e1.printStackTrace(); return; }
程猿薇茑 2014-08-19
  • 打赏
  • 举报
回复
在eclipse中右击run on hadoop运行MapReduce作业 为什么不能通过http://127.0.0.1:50030/查看运行状态 是不是只在Eclipse中运行了,没有在Hadoop上运行?
程猿薇茑 2014-08-17
  • 打赏
  • 举报
回复
引用 2 楼 qingyuan18 的回复:
Orders.txt和Customers.txt放一个in目录,你Map程序里面自己处理这两个输入文件
就是把这两个文件放在一个文件夹下? Map程序自动处理? 假如使用命令行运行怎么写?把Java程序导成jar?导出的jar放在哪个目录呢?
qingyuan18 2014-08-17
  • 打赏
  • 举报
回复
Orders.txt和Customers.txt放一个in目录,你Map程序里面自己处理这两个输入文件
程猿薇茑 2014-08-17
  • 打赏
  • 举报
回复
求顶!!!!

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧