hadoop的应用场景

topbasemaster 2012-11-14 08:55:20

最近hadoop 的名字不断在各大网站出现
本人都好想研究一下ta
但在研究之前我想问问各位，
我是一名java 程序员， hadoop 能够可以帮助我什么？在什么情景下需要用hadoop？
好样自己研究过程中有个目标实现

...全文

1764 15 打赏收藏转发到动态举报

写回复

用AI写文章

15 条回复

切换为时间正序

请发表友善的回复…

发表回复

yanjiee 2014-01-23

打赏
举报

引用 11 楼 GUITK 的回复:

[quote=引用 8 楼 huangli6 的回复:] [quote=引用 7 楼 xtm_rongbing 的回复:] 如果是用Java的话，学Hadoop要简单些吧，现在云计算比较火，如果想做云计算，hadoop还是比较好的，hadoop主要用在大数据处理，而且还要求数据之间关联性不高，也就是多元异构，hadoop现在常用在日志处理，搜索引擎，不过它也有缺点，其中一个就是不太适合低延迟的程序

我想问一下Hadoop用于什么日志的处理呢？[/quote] 比如统计网站那个页面访问次数最多，访问时间，访问者IP等等[/quote] 说了半天，还是这种回答对零基础的人来说看得比较懂。

GUITK 2013-04-28

打赏
举报

引用 8 楼 huangli6 的回复:

[quote=引用 7 楼 xtm_rongbing 的回复:] 如果是用Java的话，学Hadoop要简单些吧，现在云计算比较火，如果想做云计算，hadoop还是比较好的，hadoop主要用在大数据处理，而且还要求数据之间关联性不高，也就是多元异构，hadoop现在常用在日志处理，搜索引擎，不过它也有缺点，其中一个就是不太适合低延迟的程序

我想问一下Hadoop用于什么日志的处理呢？[/quote] 比如统计网站那个页面访问次数最多，访问时间，访问者IP等等

u010472951 2013-04-26

打赏
举报

huangli6 2013-04-22

打赏
举报

引用 7 楼 xtm_rongbing 的回复:

如果是用Java的话，学Hadoop要简单些吧，现在云计算比较火，如果想做云计算，hadoop还是比较好的，hadoop主要用在大数据处理，而且还要求数据之间关联性不高，也就是多元异构，hadoop现在常用在日志处理，搜索引擎，不过它也有缺点，其中一个就是不太适合低延迟的程序

我想问一下Hadoop用于什么日志的处理呢？

小透明-溶冰 2013-01-16

打赏
举报

如果是用Java的话，学Hadoop要简单些吧，现在云计算比较火，如果想做云计算，hadoop还是比较好的，hadoop主要用在大数据处理，而且还要求数据之间关联性不高，也就是多元异构，hadoop现在常用在日志处理，搜索引擎，不过它也有缺点，其中一个就是不太适合低延迟的程序

cranley 2013-01-08

打赏
举报

HADOOP分两部分，HDFS文件系统和MapReduce计算框架 HDFS只是提供一个文件存取操作的接口，一般是调用HADOOP包里面的API往往上面写文件就是了 MAPREDUCE是处理HDFS上面文件的计算框架，一般要自己根据业务开发JAR包来运行，以处理已经上载的文件。你说的数据获取和算法的改进，就要自己根据业务系统去实现了。优势：几百上千台机器被当成同一个文件系统，即疲当成一块硬盘，可以存储很多数据。这么多台电脑一块跑MAPREDUECE并行处理数据，可以想象几T的数据也用不了多久。 HIVE，是可以用类SQL的形式调用MAPREDUCE计算框架的系统。写个SQL，它自动解析成N个MAPREDUCE任务分发到集群上面跑。 HBASE建立在HADOOP上的NOSQL数据库，因为HADOOP只是文件系统,而HIVE查询处理很慢。所以HBASE应运而生，专门用于实时查数。

iwillkeep 2012-11-29