关于hadoop具体编程

hwq_00006 2012-01-06 10:55:36
大家好,小弟想问一下如何进行hadoop编程,现在的书大部分是讲解mapreduce或hdfs原理的
...全文
108 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
syh101 2012-01-09
  • 打赏
  • 举报
回复
分布式的编程就没法儿像单机模式那样儿自由了,要想获得通用的分布式计算能力需要满足许多严格的规范、限制。

mapreduce就是一种通用的并行计算编程模型,熟悉了就会学着用这个模型来思考问题了。

相似的还有MPI规范。
louisthy 2012-01-06
  • 打赏
  • 举报
回复
我们现在就在做这个。
feiyunzaipiao 2012-01-06
  • 打赏
  • 举报
回复
同样是菜鸟,表示hadoop是个分布式编程框架,主要编程内容就是设计map,reduce函数,而map,reduce函数的数据存取大都是在hdfs上~,可以看下Nutch项目的源码

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧