但是现在有个疑问：
hadoop很多都用在日志处理上。但是日志是动态不停的生成的。作为map-reduce应用，hadoop是否可以实现日志的实时分析处理？还是说只能处理内容不会再改变的日志（例如昨天的，上个月的等等）？希望大牛们给予解答。如果我的描述还不是很清楚的话，也希望大牛们提出来，我会再补充。
-
可能我的问题比较out。可以说我对hadoop也是一知半解。只知道hadoop是针对大数据量进行分布式处理的框架。
但是现在有个疑问：
hadoop很多都用在日志处理上。但是日志是动态不停的生成的。作为map-reduce应用，hadoop是否可以实现日志的实时分析处理？还是说只能处理内容不会再改变的日志（例如昨天的，上个月的等等）？希望大牛们给予解答。如果我的描述还不是很清楚的话，也希望大牛们提出来，我会再补充。展开阅读全文
-
等级
本版专家分：0 -
不知道.路过.学习.
-
等级
本版专家分：0
-
我感觉不可以，从一开始Hadoop就不是在强调反应时间，他强调的是高吞吐量。
-
等级
本版专家分：0 -
每次启动hadoop，hadoop会结合日志文件对数据进行更新，可能还会结合secondarynamenode。而每次的操作并不是马上对数据进行更新的。好像是这样的，我在书上看到的，具体的记不太清楚了。书也不在我这了，不好意思。。。这个回答仅供参考
-
等级
本版专家分：0
-
楼主的问题很好 切中Hadoop的要害 hadoop是针对批处理作业的 特点是数据吞吐量大 但是一旦一个job启动就不能再进行更改 有时一个job可能会运行几个小时。
你说的问题其实是实时MapReduce问题，这个是目前hadoop研究的重点之一 楼主可以参考twitter的Storm框架 专门针对实时性大数据流
写字不容易 求给分~
-
等级
本版专家分：0
-
Hadoop做不了实时处理，反应时间太慢，如果拿来做应用程序的系统就死定了。
-
等级
本版专家分：0勋章
-
- GitHub 绑定GitHub第三方账户获取
-
-
感谢“maxim_sin”的回答。确实作为大吞吐量的计算框架，如果要求实时性还是很难的。你说的这点我也比较赞同“有时一个job可能会运行几个小时”。毕竟启动了任务之后，自己的工作还可能做不完呢，怎么有时间去处理实时得来的数据？有人可能说：“你可以在项目一开始的时候就引入Hadoop啊。这样就可以实时了”。但是别忘了，还有数据量的限制呢。假如你的Hadoop群集只有几台机器，而数据又太多，导致不能实时处理完毕，数据就会积压，越积越多，最终永远也干不完。为了避免这种问题，就干脆让它处理有限量的数据。其他网友视回答情况也给了分数，结贴。
- Hadoop一般用在哪些业务场景
带着这个问题渗透到业务中去分析，就知道hadoop需要应用到什么业务场景了！！！如果关系型数据库都能应付的工作还需要hadoop吗？ 比如 1.银行的信用卡业务，当你正在刷卡完一笔消费的那一瞬间，假如在你当天消费...
- Python海量数据处理之_Hadoop（三）程序调用
前两篇分别介绍了Hadoop的配置方法和基本原理，本篇将介绍如何让程序借助Hadoop调用服务器集群中的算力。Hadoop是Java语言实现的，它不仅支持Java，还支持C++，Python等程序的分布计算。下面以Python为例介绍如何...
- Hadoop：Hadoop单机伪分布式的安装和配置
之前是在docker中配置的hadoop单机伪分布式[Hadoop：Hadoop单机伪分布式的安装和配置 ]，并且在docker只有root用户，所有没有权限问题存在。官方安装文档[Hadoop: Setting up a Single Node Cluster] ...
- Hadoop学习总结（2）——Hadoop入门详解
1、Hadoop介绍 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了一个系统底层细节透明的分布式架构，通过Hadoop，可以将大量的廉价机器的计算资源组织起来，解决单机不能解决的海量数据的...
- Hadoop大数据平台安装
实验一：Hadoop大数据平台安装 16281002 杜永坤 1、实验目的 在大数据时代，存在很多开源的分布式数据采集、计算、存储技术，本实验将熟悉并搭建几种常用的大数据采集、处理分析技术环境。 《大数据技术》实验一...
- 从hadoop发展角度彻底明白hadoop1.x与hadoop2.x的区别
问题导读 1.hadoop1.x改造如果是两个jobtraker，你认为解决了...鉴于本人面试提到过这个问题：hadoop1.x和hadoop2.x的区别，起始存在很多模糊的地方，希望看到这篇文章，能够对hadoop有个基本的认识。 转载自http
- Hadoop默认支持集成OSS，作为Hadoop兼容的文件系统
背景2017.12.13日Apache Hadoop3.0.0正式版本发布，默认支持阿里云OSS对象存储系统，作为Hadoop兼容的文件系统。OSS是中国云计算厂商第一个也是目前唯一一个被Hadoop官方版本支持的云存储系统。这是继Docker支持阿里...
- Hadoop+GPU强强联手的性能探索
Hadoop并行处理可以成倍地提高性能。现在的问题是如果将一部分计算工作从CPU迁移到GPU会怎么样？能否更快理论上，这些处理如果经过了并行计算的优化，在GPU上执行会比CPU快50-100倍。 作为大数据专家和PaaS的推动...
- Hadoop知识点总结（一）
HADOOP hadoop的概念 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 它主要有以下几个优点： ...
- Apache Hadoop 入门教程
Apache Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。可以让用户在不了解分布式底层细节的情况下，开发出可靠、可扩展的分布式计算应用。 Apache Hadoop 框架，允许用户使用简单的编程模型来实现...
- 《Hadoop核心技术》作者翟周伟 ：我与Hadoop的不解之缘
摘要：翟周伟，资深Hadoop技术专家，《Hadoop开源云计算平台》、《Hadoop核心技术》作者。日前，CSDN记者对他进行了采访，请他解读Hadoop发展现状、特性及发展前景，以及这一路走来的心路历程。 翟周伟，资深Hadoop...
- hadoop特点
Hadoop的优缺点介绍：（一） 优点：（一）高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖;（二）高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点...
- <转>hadoop学习之hadoop集群功能简单测试验证
hadoop学习之hadoop集群功能简单测试验证 转自：http://blog.csdn.net/ab198604 前几天对Hadoop分布式集群的安装过程进行了总结，对hadoop的集群搭建只是学习hadoop中的艰难的一步，后面还需要学习更多...
- Hadoop数据存储
Hadoop数据存储Hadoop能高效处理数据的基础是有其数据存储模型做支撑，典型的是Hadoop的分布式文件系统HDFS和HBase。一、HDFS文件系统1.0、 HDFS简介HDFS是Hadoop的分布式文件系统的实现，它设计的目的是存储海量的...
- hadoop的应用场景分析
带着这个问题渗透到业务中去分析，就知道hadoop需要应用到什么业务场景了！！！如果关系型数据库都能应付的工作还需要hadoop吗？ 比如 1.银行的信用卡业务，当你正在刷卡完一笔消费的那一瞬间，假如在你当天消费...
- Hadoop集群部署介绍
以Hadoop分布式文件系统 （HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心 的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 对于Hadoop的集群来讲，...
- centos安装配置hadoop超详细过程
1、集群部署介绍 ...以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。
- 分布式处理框架Hadoop的安装与使用
Hadoop简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。 充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop...
- Hadoop用来补充而非替代关系型数据库
【摘要】随着更多的非结构化的数据流进入企业的舞台，Hadoop的采用开始兴趣。但其日益增长的重要性不是把传统的关系型数据库管理系统(RDBMS)降为垃圾，而是说，基于开源的数据处理框架的额外的分析能力是对这个系统...
- 从Hadoop到ClickHouse，现代BI系统有哪些问题？如何解决？
导读：一次机缘巧合，在研究BI产品技术选型的时候，我接触到了ClickHouse，瞬间就被其惊人的性能所折服。这款非Hadoop生态、简单、自成一体的技术组件引起了我极大的好奇。那么Cl...
- Hadoop、Storm和Spark主流分布式系统特点和应用场景
大数据现在是业内炙手可热的话题，随着技术的发展，如HDFS，大数据存储技术已经不在是难点，但是对大数据如何做好存储后的下一步处理将是未来竞争的焦点，目前比较受欢迎的Storm, Spark, Hadoop三个大数据处理工具都...
- Python海量数据处理之_Hadoop（二）概念和原理
前篇介绍了Hadoop的安装，在安装过程中会产生一些疑问，比如NameNode是什么东西？本篇就以问题&解答的方式介绍Hadoop的相关概念及其原理。
- Hadoop集群（第5期）_Hadoop安装配置 1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个...
Hadoop集群（第5期）_Hadoop安装配置 1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和...
- hadoop学习之hadoop集群功能简单测试验证
前几天对hadoop分布式集群的安装过程进行了总结，对hadoop的集群搭建只是学习hadoop中的艰难的一步，后面还需要学习更多的知识，不知道自己能不能坚持下去，不知道后面还会遇到多少困难，不过，我想，只要努力坚持...
- Apache Hadoop Goes Realtime at Facebook(中文，Hadoop在脸谱达成实时应用)
作者：Dhruba BOrthakur & Joydeep Sen Sarma etc. Facebook Inc 2011-6 原文：http://wenku.baidu.com/view/5b1f48ef0975f46527d3e18b.html 译者：phylips@bmy 2011-9-11 出处：...
- 当你还在讨论大数据的时候，你是否还在说Hadoop?
现在再写这篇文章感觉有些不合时宜，目前，貌似很少人...由于Hadoop的MapReduce高延迟的死穴，导致Hadoop无力处理很多对时间有要求的场景，人们对其批评越来越多，Hadoop无力改变现在而导致正在死亡。 原先支持Hado...