如何自定义Mapreduce中的OutputFormat实现将分区数据写入不同的目录?

liuluxyz 2012-03-28 10:44:53
我有一组输入数据,是采用了分区,如下所示:
a dt
1 `20120101
2 20120101
3 `20120202
4 20120202
5 20120303
6 20120303
上面的数据分成了3个区(以时间分区)。

我要自定义OutputFormat,使输出的数据是按照分区写入到不同的目录,即:
三组数据分别写入到path-20120101,path-20120202,path-20120303中。
请问各位大侠我如何自定义OutputFormat?都是需要重写哪些方法?
...全文
152 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
a120852620 2012-04-17
  • 打赏
  • 举报
回复
http://www.infoq.com/cn/articles/HadoopOutputFormat
希望能帮到你

50,547

社区成员

发帖
与我相关
我的任务
社区描述
Java相关技术讨论
javaspring bootspring cloud 技术论坛(原bbs)
社区管理员
  • Java相关社区
  • 小虚竹
  • 谙忆
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧