Hadoop 1.2.1 ChainMapper Api

gr1532879 2013-10-03 09:09:44
关于MapReduce链的例子都是0.20之前的api
使用的是JobConf类初始化任务,而在1.2.1 使用的是Job类,是ChainMapper还未来得及更改API么?
另外,各位看管请看一下代码 code 1 为什么提示编译错误(方法参数不匹配);
但是我使用方法包装却可以(code 2)?

public static void run() throws IOException, ClassNotFoundException,
InterruptedException {
Configuration conf = new Configuration();

conf.set("mapred.job.tracker", "192.168.0.110:9001");
JobConf job = new JobConf(false);
// Job job = new Job(conf, "PatentInfo");
// Configuration mapConf = new Configuration(false);
// code 1
addMapper(job, MapClass.class, LongWritable.class,
Text.class, Text.class, Text.class, false, job);
// code 2
ChainMapper.addMapper(job, MapClass.class, LongWritable.class,
Text.class, Text.class, Text.class, false, job);
}


public static void addMapper(org.apache.hadoop.mapred.JobConf job, java.lang.Class klass, java.lang.Class inputKeyClass, java.lang.Class inputValueClass, java.lang.Class outputKeyClass, java.lang.Class outputValueClass, boolean byValue, org.apache.hadoop.mapred.JobConf mapperConf){
ChainMapper.addMapper(job, klass, inputKeyClass, inputValueClass, outputKeyClass, outputValueClass, byValue, mapperConf);
}
...全文
287 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
海兰 2013-10-04
  • 打赏
  • 举报
回复
对的,这是常见的版本不匹配问题,你code1那应该需要旧版 MapReduce 的 org.apache.hadoop.mapred.JobConf,你引入的包是不是新版 MapReduce 的 org.apache.hadoop.mapreduce.Job 跟 org.apache.hadoop.conf.Configuration?

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧