社区
Hadoop生态社区
帖子详情
hadoop问题请教??
yangzhengm
2012-12-04 04:33:47
请问一下,hadoop处理的数据从哪里来???有没有专门提供练习的数据包之类的,还是通过淘宝等开放平台的api连接到它的数据中心开发或者抓取它的web信息作分析,谢谢。
...全文
177
4
打赏
收藏
hadoop问题请教??
请问一下,hadoop处理的数据从哪里来???有没有专门提供练习的数据包之类的,还是通过淘宝等开放平台的api连接到它的数据中心开发或者抓取它的web信息作分析,谢谢。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
4 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
cranley
2013-01-08
打赏
举报
回复
HADOOP分两部分,HDFS文件系统和MapReduce计算框架 HDFS只是提供一个文件存取操作的接口,一般是调用HADOOP包里面的API往往上面写文件就是了 MAPREDUCE是处理HDFS上面文件的计算框架,一般要自己根据业务开发JAR包来运行,以处理已经上载的文件。 你说的数据获取和算法的改进,就要自己根据业务系统去实现了。
yangzhengm
2012-12-06
打赏
举报
回复
好的,非常感谢你的建议,想必你弄过hadoop吧。但是我更关心的是数据的获取,呵呵,运行环境的搭建可以有参考书之类的,但是下面一步就是有效数据的获取和算法的改进,希望能够继续得到你的帮助。谢谢!
BaYangMoBeiBei
2012-12-05
打赏
举报
回复
hadoop处理的数据,是放在HDFS上。 Hadoop刚开始主要包括HDFS和MapReduce,现在Hadoop越来越成熟了,HDFS和MapReduce都可以独立研究,Hadoop也能兼容其他的分布式文件系统了。 你如果想用hadoop,建议先自己在Linux下搭建一个Hadoop环境,配置成伪分布式模式,网上有很多教程的。hadoop官网有一个WordCount实例,这就相当于编程的HelloWorld级别的一个MapReduce程序,有本书是Hadoop权威指南,你可以看一下
Hadoop
管理员的十个最佳实践
接触
Hadoop
有两年的时间了,期间遇到很多的
问题
,既有经典的NameNode和JobTracker内存溢出故障,也有HDFS存储小文件
问题
,既有任务调度
问题
,也有MapReduce性能
问题
.遇到的这些
问题
有些是
Hadoop
自身的缺陷(短板),有些则是使用的不当。在解决
问题
的过程中,有时需要翻源码,有时会向同事、网友
请教
,遇到复杂
问题
则会通过mail list向全球各地
Hadoop
使用者,包括
Hadoop
Committer(
Hadoop
开发者)求助。在获得很多人帮助后,自己将遇到
问题
和心得整理成文,希望本文可以对那些焦头烂额的Hado
hadoop
官网介绍及如何下载
hadoop
(2.4)各个版本与查看
hadoop
API介绍
问题
导读:1.如何访问
hadoop
官网?2.如何下载
hadoop
各个版本?3.如何查看
hadoop
API?很多同学开发都没有二手资料,原因很简单觉得不会英语,但是其实作为软件行业,多多少少大家会英语的,但是就是不善长,这是很多人面对的
问题
。英语的不善长,造成我们获取知识慢,很多
问题
都需要向别人
请教
。这里交给大家该如何从我们已有的资源中查找API.首先我们登录官网:http://
hadoop
.ap...
Hadoop
入门和大数据应用
Hadoop
入门和大数据应用视频教程,该课程主要分享
Hadoop
基础及大数据方面的基础知识。 讲师介绍:翟周伟,就职于百度,
Hadoop
技术讲师,专注于
Hadoop
&大数据、数据挖掘、自然语言处理等领域。2009年便开始利用...
hadoop
mpp oracle,
请教
一下MPP 与
Hadoop
是什么关系?
HADOOP
与MPP是什么关系?有什么区别和联系?适用范围、应用领域分别是什么?其实MPP架构的关系型数据库与
Hadoop
的理论基础是极其相似的,都是将运算分布到节点中独立运算后进行结果合并。个人觉得区别仅仅在于前者跑的是SQL,后者底层处理则是MapReduce程序。但是我们会经常听到对于MPP而言,虽说是宣称也可以横向扩展Scale OUT,但是这种扩展一般是扩到100左右,而
Hadoop
一般...
零基础学
Hadoop
大数据好学么,大概需要学习多长时间?
Hadoop
近几年在企业中应用非常广泛,发展的相当好,由于是新流行起来的技术,
Hadoop
人才相当缺乏,企业对
Hadoop
人才非常重视,入职后升职加薪都是分分钟的事。零基础学
Hadoop
大数据好学么?去哪里学比较好?零基础学习
hadoop
,没有想象的那么困难,当然也没有想象的那么容易。 在自学刚接触
Hadoop
技术时,会没有学习方向,不知从何下手,遇到
问题
也没有老师可以
请教
,更没有人指导,确实让人很苦恼。参加培训机构是一个学习
Hadoop
的捷径,认真跟着讲师学习,从基础到专业,紧跟讲师的步骤进行循序渐进的学
Hadoop生态社区
20,807
社区成员
4,690
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章