-
等级
本版专家分：0结帖率 0% -
请问一下，hadoop处理的数据从哪里来？？？有没有专门提供练习的数据包之类的，还是通过淘宝等开放平台的api连接到它的数据中心开发或者抓取它的web信息作分析，谢谢。展开阅读全文
-
等级
本版专家分：0
-
hadoop处理的数据，是放在HDFS上。
Hadoop刚开始主要包括HDFS和MapReduce，现在Hadoop越来越成熟了，HDFS和MapReduce都可以独立研究，Hadoop也能兼容其他的分布式文件系统了。
你如果想用hadoop，建议先自己在Linux下搭建一个Hadoop环境，配置成伪分布式模式，网上有很多教程的。hadoop官网有一个WordCount实例，这就相当于编程的HelloWorld级别的一个MapReduce程序，有本书是Hadoop权威指南，你可以看一下
-
等级
本版专家分：0
-
好的，非常感谢你的建议，想必你弄过hadoop吧。但是我更关心的是数据的获取，呵呵，运行环境的搭建可以有参考书之类的，但是下面一步就是有效数据的获取和算法的改进，希望能够继续得到你的帮助。谢谢！
-
等级
本版专家分：0
-
HADOOP分两部分，HDFS文件系统和MapReduce计算框架
HDFS只是提供一个文件存取操作的接口，一般是调用HADOOP包里面的API往往上面写文件就是了
MAPREDUCE是处理HDFS上面文件的计算框架，一般要自己根据业务开发JAR包来运行，以处理已经上载的文件。
你说的数据获取和算法的改进，就要自己根据业务系统去实现了。
- 零基础学Hadoop大数据好学么,大概需要学习多长时间？
Hadoop近几年在企业中应用非常广泛，发展的相当好，由于是新流行起来的技术，Hadoop人才相当缺乏...在自学刚接触Hadoop技术时，会没有学习方向，不知从何下手，遇到问题也没有老师可以请教，更没有人指导，确实让人...
- 请教hadoop多租户问题
请教大神们，hadoop多租户问题有人能搞出来吗？或者说有没有hadoop多租户。 业务场景是这样的：现在有一个hadoop2.5.1的集群，现在有很多人在用这个集群，我想给每个人分配他们能使用的资源，比如说一个人几个计算...
- Hive,Pig,HBase 区别与联系
看了几天的Hadoop生态系统，对Hive,Pig,HBase搞的有些糊涂，查阅时发现糊涂的不止我一个，如某个鸟问的帖子发表的疑问，when to use Hbase and when to use Hive？....请教了google，现总结如下： Pig Pig是一种...
- 零基础学习hadoop到上手工作线路指导
2.hadoop编程需要注意哪些问题？ 3.如何创建mapreduce程序及其包含几部分？ 4.如何远程连接eclipse，可能会遇到什么问题？ 5.如何编译hadoop源码？ 阅读此篇文章，需要些基础下面两篇文章 零...
- hadoop map怎么一次读取多行数据（一块数据）而非一行数据？
利用hadoop做数据SVM并行计算，但是想在map任务中将数据分块建立模型再reduce中将分块的 模型合并，但是map每次只能读取一行数据，不能满足数据挖掘中用一整块数据去建模的 原则，请教大家怎么修改map任务逻辑，能一...
- Hadoop2.2.0安装配置手册！完全分布式Hadoop集群搭建过程
PS：dataNode 无法启动是配置过程中最常见的问题，主要原因是多次format namenode 造成namenode 和datanode的clusterID不一致。建议查看datanode上面的log信息。解决办法:修改每一个datanode上面的CID(位于dfs/data/...
- hadoop删除文件报错“NullPointException” 文件路径中文件名中文乱码
大家好，我想请教一下关于hadoop文件删除的问题，希望有大牛在空闲之余给予指导。 问题描述：之前别的用户通过hadoop上传了文件，由于编码问题，之前人家上传的文件名读取出来 为中文乱码，例如：fileUrl==========...
- 搭建hadoop高可用集群时的错误 ERROR namenode.NameNode: Failed to start namenode.
在执行name node格式化（hdfs namenode -format）的时候，出现了以下无法启动NameNode的错误，研究了很久，请教了本班的大神后，终于知道原因是core-site的文件配置中 tmp 的目录路径写错了 17/07/19 01:32:48 ...
- 将mysql的数据转存到Hadoop做实时统计分析，应该采用怎样的解决方案
将mysql的数据转存到Hadoop做实时统计分析，应该采用怎样的解决方案
- hadoop2.7 本地库问题
我的电脑是ubuntu14.10, 64位的.安装hadoop2.7之后总是会有这个问题 > WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java ...请教大神这几个问题怎么解决?
- Hadoop中mapred包和mapreduce包的区别与联系
public class MyJob extends Configured implements Tool { public static class MapClass extends MapReduceBase implements Mapper {// public void map(Text key, Text value, OutputColle
- 对hadoop中copyFromLocalFile 的小测试
刚开是学习hadoop，运行一个hadoop文件复制相关的小例子： public class CopyFile { public static void main(String[] args) throws IOException { // TODO Auto-generated method stub Configuration ...
- Flink提交运行中常见问题总结
Flink提交运行中常见问题总结 ...java.util.ServiceConfigurationError: org.apache.hadoop.fs.FileSystem: Provider org.apache.hadoop.fs.viewfs.ViewFileSystem could not be instantiated 可...
- 关于hadoop 2.6源码中ApplicationClientProtocol的问题
请教大神一个问题 Hadoop 2.6中，Client端提交JOB到RM端，他们是通过ApplicationClientProtocol通信的。 在RM端有RMClientService.java作为服务端接收请求并相应，代码是rpc.getServer(ApplicationClientProtocol....
- Hive 0.8.1 with MapReduce 0.23.1 单机测试安装
Hive0.8.1 with MapReduce 0.23.1 单机测试安装 自从MR V2出来之后，变化了很多，安装方式也和以前不一样了，折腾了好久，才装好。 1、 Hadoop的安装 1) 下载hadoop-1.0.0....$hadoop_home/etc/hadoop/yarn-env.sh
- Failed to execute goal org.apache.maven.plugins:maven-javadoc-plugin:2.8.1:jar (module-javadocs) on
在hadoop2.5以及在后面的版本中，hadoop在官网上下载的变成了64位的，无奈，得自己编译，在编译的过程中出现如下的错误： [ERROR] Failed to execute goal org.apache.maven.plugins:maven-javadoc-plugin:2.8.1:...
- 关于hadoop的集群开发环境配置
各位前辈好！最近遇到了点疑问，hadoop的集群配置的主节点是要搭在服务器上吗？我们老师要我们做一个项目，需要配置hadoop平台，什么也不懂，所以来这里请教大家==
- hadoop官网介绍及如何下载hadoop（2.4）各个版本与查看hadoop API介绍
问题导读：1.如何访问hadoop官网？2.如何下载hadoop各个版本？...英语的不善长，造成我们获取知识慢，很多问题都需要向别人请教。这里交给大家该如何从我们已有的资源中查找API.首先我们登录官网：http://hadoop.ap...
- hadoop商业版本选择对比2018
记得刚接触到hadoop的时候跟大部分人一样都会抱怨hadoop的安装部署问题，对于一个新手来说这这的是个头疼的问题，可能需要花费一整天的时间才能把分布式环境安装配置好。在刚接触hadoop的一段时间里，可以说对于...
- 大数据Hadoop Hive HBase Spark Storm 和分布式流数据系统Kafka
Hadoop解决了什么问题？ 答：解决了大数据（大到一台计算机无法进行存储，一台计算机无法在要求的时间内进行处理）的可靠存储(HDFS)和处理(MapReduce)。 Hive Hive是什么？ 答：Hive是建立在Hadoop之上的，使用...
- 有关hadoop命令的问题
请教大家一个问题，我进入到了hadoop安装目录的bin目录下，执行hadoop指令，但系统提醒hadoop：command not found，且hadoop已启动，master节点重启后依然有这个问题，头疼的很，有没有哪个小伙伴帮忙解答一下！...
- hadoop mapreduce 数据分析 丢数据
最近发现hadoop的mapreduce程序会丢数据，不知道是什么原因，请教各位： hadoop环境，通过mapreduce程序分析hdfs上的数据，一天的数据是按小时存储的，每一个小时一个文件价，数据格式都是一样的，现在如果在16点这...
- 使用Cloudera部署，管理Hadoop集群
使用Cloudera部署，管理Hadoop集群 ... Hadoop是一个开源项目，Cloudera对Hadoop进行了商业化，简化了安装过程，并对hadoop做了一些封装。 根据使用的需要，Hadoop集群要安装很多的组件，一个一个安装