用hadoop编程作业，求创意

longzaitianguo 2011-09-03 11:26:35

由MIT提供一组Data sets，学校提供cluster，用Hadoop编程，自己想创意然后实现，要求有一定的创新性。
请各位大牛给出点主意，要切实可行的，本人刚接触hadoop.给最高分了

...全文

116 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

longzaitianguo 2011-09-05

打赏
举报

回复

没有大牛回答吗，自己顶

一、前言以微博为例，每个用户会发很多微博，其中包含了很多关键词信息。而这些关键词就是用户可能感兴趣的事物。我们需要用Hadoop MapperReduce计算出来。折旧引出了文档加权算法。其含义就是计算文档中某关键词的权重，我们使用该权重来判断某用户对某关键词的依赖程度。理想状况下，权重越高，用户越依赖于某关键词。其算法如下图所示。二、源数据那么

MapReduce是一种编程模型，用于将大规模数据集分解成小的可并行处理的任务，并将结果合并成最终的输出。在map()方法中，我们使用StringTokenizer将输入的文本拆分成单词，并将每个单词作为键，值设置为1，然后通过context.write()方法将键值对输出。在main()方法中，我们配置了Job对象，并设置了输入路径、输出路径，指定了Mapper类和Reducer类，以及设置了输出键值对的类型。它与传统的关系型数据库相比具有独特的特点和优势，并且在大数据领域得到了广泛的应用。

Hadoop 是一个开源软件框架，用于在商用硬件集群上存储数据和运行应用程序。它为任何类型的数据提供海量存储，巨大的处理能力以及处理几乎无限的并发任务或作业的能力。随着万维网在 20 世纪后期和 21 世纪初的发展，创建了搜索引擎和索引，以帮助在基于文本的内容中定位相关信息。在早期，搜索结果由人类返回。但随着网络从几十页增长到数百万页，需要自动化。创建了网络爬虫，其中许多是大学主导的研究项目，搜索引擎初创公司起飞（雅虎，AltaVista 等）。其中一个项目是一个名为 Nutch 的开源网络搜索

Hadoop 是一个开源软件框架，用于在商用硬件集群上存储数据和运行应用程序。它为任何类型的数据提供海量存储，巨大的处理能力以及处理几乎无限的并发任务或作业的能力。随着万维网在 20 世纪后期和 21 世纪初的发展，创建了搜索引擎和索引，以帮助在基于文本的内容中定位相关信息。在早期，搜索结果由人类返回。但随着网络从几十页增长到数百万页，需要自动化。创建了网络爬虫，其中许多是大学主导的研究项目，搜索引擎初创公司起飞（雅虎，AltaVista 等）。其中一个项目是一个名为 Nutch 的开源网络搜索

Hadoop 是一个开源软件框架，用于在商用硬件集群上存储数据和运行应用程序。它为任何类型的数据提供海量存储，巨大的处理能力以及处理几乎无限的并发任务或作业的能力。随着万维网在 20 世纪后期和 21 世纪初的发展，创建了搜索引擎和索引，以帮助在基于文本的内容中定位相关信息。在早期，搜索结果由人类返回。但随着网络从几十页增长到数百万页，需要自动化。创建了网络爬虫，其中许多是大学主导的研究项目，搜索引擎初创公司起飞（雅虎，AltaVista 等）。其中一个项目是一个名为 Nutch 的开源网络搜索

Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章