求助，不太理解mapreduce中的map函数的参数

2015-01-21 06:20:16 735 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

CodeMonkeyWang 墨衍会员 · AI 创作全网分发关注 + 加入社区

深入理解MapReduce：从Map到Reduce的工作原理解析当谈到分布式计算和大数据处理时，MapReduce是一个经典的范例。它是一种编程模型和处理框架，用于在大规模数据集上并行运行计算任务。MapReduce包含三个主要阶段：Map、Shuffle 和 Reduce。** 阅读详情

最近正在学写mapreduce．就拿下面这个例子说吧，这是一个从hbase中读数据写入到另外一张hbase表中的数据．

在map函数中value这个参数是一行的数据．貌似我需要的东西全在value里了．不理解这个map函数的第一个参数ImmutableBytesWritable row传进来的是什么数据．debug一下看实际数据也不是我往表里插的什么数据　求大神解惑．

public class TxtHbase {

    public static class MapperClass extends TableMapper<Text, IntWritable> {

        private final IntWritable ONE = new IntWritable(1);

        private Text text = new Text();



        @Override

        public void map(ImmutableBytesWritable row, Result value, Context context) throws IOException, InterruptedException {

            String val = new String(value.getValue(Bytes.toBytes("cf1"), Bytes.toBytes("c1")));

            text.set(val); // we can only emit Writables...



            context.write(text, ONE);

        }

    }



    public static class ReducerClass extends TableReducer<Text, IntWritable, ImmutableBytesWritable> {

        @Override

        public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {

            int i = 0;

            for (IntWritable val : values) {

                i += val.get();

            }

            Put put = new Put(Bytes.toBytes(key.toString()));

            put.add(Bytes.toBytes("cf1"), Bytes.toBytes("count"), Bytes.toBytes(i));



            context.write(null, put);

        }

    }



    /** 

     * @param args 

     */

    public static void main(String[] args) throws Exception {

        Configuration conf = HBaseConfiguration.create();

        //String [] argArray=new GenericOptionsParser(conf, args).getRemainingArgs();  

        conf.set("from.table", "trade_detail_info");

        conf.set("to.table", "trade_total");

        //conf.set("family", "family1");  



        Job job = new Job(conf, "hbase to hbase");



        job.setJarByClass(TxtHbase.class);

        TableMapReduceUtil.initTableMapperJob(conf.get("from.table"), new Scan(), MapperClass.class, Text.class, IntWritable.class, job);

        TableMapReduceUtil.initTableReducerJob(conf.get("to.table"), ReducerClass.class, job);

        System.exit(job.waitForCompletion(true) ? 0 : 1);



    }

}