hadoop map任务怎么一次读取一整块数据(多行)而非一次读取一行数据

asdfg48_ 2015-05-27 11:05:06
问题:
最近在做hadoop——SVM数据挖掘工作,map任务只能一次读取一行数据,我的目的是将数据分块处理建立预测模型,再将分块得到的支持向量(所谓的模型)在Reduce中合并得到整体模型,但是map任务一次只能读取一行数据不符合一批数据建模的原则,请大家帮我看看应该怎么修改Map任务的逻辑,让其一次读取多行(一整块,最好能大于64M数据块)。
...全文
1466 7 打赏 收藏 转发到动态 举报
写回复
用AI写文章
7 条回复
切换为时间正序
请发表友善的回复…
发表回复
汤高 2016-05-03
  • 打赏
  • 举报
回复
看这篇博客 里面讲了怎么实现一次读取多行 http://blog.csdn.net/tanggao1314/article/details/51307642
岁月的拓荒者 2015-08-01
  • 打赏
  • 举报
回复
不知道楼主解决没有?我也希望能搞搞SVM在hadoop中的实现
Accept-Victory 2015-07-20
  • 打赏
  • 举报
回复
楼主 ,问题怎么处理的?
osDanielLee 2015-06-04
  • 打赏
  • 举报
回复
简单的方法,用:NLineInputFormat,用法自己搜
夜无边CN 2015-05-31
  • 打赏
  • 举报
回复
需要重写inputformat。 前提是你的模型是可以分割的。比如以某个“{” 开始,以“}”结束。
java8964 2015-05-29
  • 打赏
  • 举报
回复
http://shiyanjun.cn/archives/291.html Do you read this?

20,811

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧