|
各位2014新年好~~~
为了方便新手、高手、老鸟快速的找到自己想要的问题答案~~~ 此贴将汇总论坛中具有价值常见问题,以及CSDN博客中的一些具有代表性的文章~~~ 如果你有看到有价值的论坛帖子或CSDN博客文章,请在本帖中回帖,我会把各位的推荐汇总到主贴中~~~ 撸大湿祝各位Hadooper在新的一年中身体健康、工资翻番、技术越来越牛B~~~ Hadoop基本介绍 Hadoop百度百科 Hadoop之父Doug Cutting 介绍 Hadoop YARN的发展史与详细解析 第一版:Hadoop常规问题 --------------------------------------------------------------华丽的分隔符-------------------------------------------------------------- 一 基础类 Hadoop社区版官网:http://hadoop.apache.org/ 社区版下载地址:http://apache.claz.org/hadoop/common/ 企业发行版(排名不分先后): Cloudera:http://www.cloudera.com/content/cloudera/en/home.html UCloud UDDP:http://www.ucloud.cn/product/uddp_main/【国内最早推出基于云服务的Hadoop(Cloudera)厂商】 MapR:http://www.mapr.com/ Amazon EMR:http://aws.amazon.com/cn/elasticmapreduce/【跟楼上是对好基友,不解释】 Inter:http://hadoop.intel.com/ Hortonworks:http://www.hortonworks.com/ Hadoop生态系统中的重要组件: Hive:http://hive.apache.org/ 如果你擅长SQL或者从事DBA工作,Hive必学!! Pig:http://pig.apache.org/ Hive不熟太麻烦?SQL苦手?那就玩这个吧。Pig部署简单、语法易懂,除了不能Insert..... Sqoop:http://sqoop.apache.org/ Hadoop与RDBMS之间的桥梁,轻松搞定ETL HBase:http://hbase.apache.org/ 还在为MySQL如何存储大量业务日志的犯愁吗?分库、分表、分partiton是不是搞得你焦头烂额?HBase助你一臂之力 Chukwa:http://chukwa.apache.org/ 一个开源的用于监控大型分布式系统的数据收集系统。 Hadoop环境搭建 yfkiss教你如何在ubuntu搭建hadoop单机环境:Hadoop单机环境搭建笔记(ubuntu) 该方法适用于hadoop版本:0.20.X 1.X.X 2.X.X(非YARN版适用,YARN版往下看) 海兰教你如何在ubuntu搭建Hadoop2.2.X集群(两台):Hadoop2.2.0版本多节点集群及eclipse开发环境搭建 该方法适用于hadoop版本:2.X.X。相比yfkiss,博主为节点机配置了HostName,在生产环境中HostName的配置很重要~~~ Hadoop零基础FAQ 分布式和云计算有什么区别 hadoop的应用场景讨论 Hadoop科普文——常见的45个问题解答 CSDN在线培训 第一期:实战为王 【CSDN在线培训QA】梁堰波解SQL-on-Hadoop疑难杂症 第二期:敬请期待........ --------------------------------------------------------------华丽的分隔符-------------------------------------------------------------- 二 HDFS汇总 由于用户权限问题导致的Permission denied:hadoop 启动报错了,网上实在查不到为什么了 由于HostName配错导致的HDFS启动失败:hadoop启动报错 SSH、HostName、iptable导致的启动失败: 新手请教个集群搭建的问题 完全分布式搭建的error(datanode启动不了 9000端口被占用导致HDFS启动失败:Hadoop启动时候报错,报错如下。请大大支招! 通过java api获取hdfs整体信息:如何通过api获取hdfs整体信息 --------------------------------------------------------------华丽的分隔符-------------------------------------------------------------- 三 MapReduce mapred.job.tracker地址配错导致的MR无法正常启动:http://bbs.csdn.net/topics/370163537 如何在Map和Reduce之间传递静态变量:http://bbs.csdn.net/topics/390418508 如何调试MapReduce:eclipse 不能调试hadoop程序吗? MapReduce二次排序问题: 为什么我二次排序排不了呢?代码如下 100分求解决2个简单的问题3楼 权限问题导致的Eclipse启动MR失败:http://bbs.csdn.net/topics/390534517 hadoop 404 Not Found /jobtracker.jsp:http://bbs.csdn.net/topics/380114884 MapReduce中合并小文件(Hadoop2.X可用):hadoop CombineFileInputFormat --------------------------------------------------------------华丽的分隔符-------------------------------------------------------------- 四 Hive/Pig/Sqoop 如何退出Hive进程:hive>如何正常并安全退出 如何解决Join非等值匹配问题:Hive面试题 如何在Hive中映射HBase数据表:HIVE和HBASE数据对接 Hive分隔符问题: hive 分隔符 hive建表及导入数据的问题 Hive查询表 数据全是NULL(Duke147推荐) Sqoop导入Oracle数据的NULL值处理:SQOOP如何不将空字段填为NULL? 在Hive并行执行脚本:HIVE作业提交的问题 如何在Hive SQL中实现Exists语句:100分求解决2个简单的问题,新手求指导9楼 Pig配置问题:安装PIG出现的问题。 过往记忆介绍Hive 0.11新特性:Hive0.11.0的新特性 --------------------------------------------------------------华丽的分隔符-------------------------------------------------------------- 五 HBase 如何在HBase的表之间做Join操作:Hbase的Join问题 Hfile排序问题导致的数据导入失败:关于mapreduce生成hfile文件 Hadoop Lib库版本不一致导致的HBase启动失败:配置hbase,主节点HMaster启动不起来 如何设置数据的生命周期TTL:亲们,如果设置HBase数据的有效期? 利用HTablePool解决HTable多线程调用不安全的问题:HBase大批量写入报错~~ Client Put 优化相关:Hbase 入库优化 求大神帮忙看看我的代码如何改进 --------------------------------------------------------------华丽的分隔符-------------------------------------------------------------- 六 Mahout Hadoop集群中的Mahout-distribution-0.7安装与配置(海兰推荐) --------------------------------------------------------------华丽的分隔符-------------------------------------------------------------- 七 其他问题 如何禁止ZooKeeper的日志信息输出:http://bbs.csdn.net/topics/390471281 |
|
|
|
第二版:Hadoop进阶
--------------------------------------------------------------华丽的分隔符-------------------------------------------------------------- 八 Hadoop 2.X 问题汇总 Hadoop2.2 64位源码编译,如果不想自己编译往下看:hadoop2.2.0 centos 编译安装详解 Hadoop2.2 64位二进制包,由于CSDN资源上传有60MB限制,我把二进制包拆成了2个。编译环境 Centos6.4 x64,JDK1.7:hadoop 2.2 64位 二进制包(上) hadoop 2.2 64位 二进制包(下) --------------------------------------------------------------华丽的分隔符-------------------------------------------------------------- 九 Hadoop 源码相关问题汇总 --------------------------------------------------------------华丽的分隔符-------------------------------------------------------------- 十 MapReduce算法讨论 携程面试的一道MapReduce的题目 --------------------------------------------------------------华丽的分隔符-------------------------------------------------------------- 十一 HBase高级开发 --------------------------------------------------------------华丽的分隔符-------------------------------------------------------------- 十二 Storm相关问题汇总 Storm DRPC调用:Storm 远程DRPC 调用失败 Storm人工智能机器学习:Storm 分布式BP神经网络的Demo 博文:Storm 分布式BP神经网络(开源) --------------------------------------------------------------华丽的分隔符-------------------------------------------------------------- 十三 Spark相关问题汇总 Spark 1.0.0发布,Spark on Yarn 部署(Hadoop2.4 + Spark 1.0.0):http://blog.csdn.net/tntzbzc/article/details/27817189 |
|
|
预留占位~~
|
|
|
![]() |
|
|
![]() ![]() |
|
|
紧随周哥步伐!
|
|
这个可以啊,mark!
|
|
|
|
紧随周哥步伐! 这个可以啊,mark! 各位有啥好的推荐不? 博客或者论坛帖子,JAVA版的也行阿 |
|
|
http://bbs.csdn.net/topics/390288457?page=1
以前学习的时候记录了一些,都没有整理。。。 |
|
|
这个好
学习学习 |
|
|
我感觉还不错
|
|
|
![]() |
|
|
楼主这么吊,你家人知道吗
|
|
|
楼主这么吊,你家人知道吗 谢谢关注 |
|
|
![]() |
|
|
有啥好的帖子和博客能推荐一下嘛 我编辑了,误会 |
|
|
好东西大家分享
|
|
|
感谢楼主分享
![]() |
|
|
![]() |
|
|
好帖!!!收藏!!
|
|
|
这个可以啊,mark一个~~
|
|
|
Hadoop集群中的Mahout-distribution-0.7安装与配置
http://blog.csdn.net/hadoop_/article/details/16980707 |
|
|
Hadoop集群中的Mahout-distribution-0.7安装与配置 这个可以有,再来一个Mahout-distribution-0.8的吧 凉飕飕。。。 |
|
谢谢楼主!另外能否告知,如果用hadoop布置成一个数据库,应该用什么比较好?
|
|
mark,mark
![]() |
|
|
|
谢谢楼主!另外能否告知,如果用hadoop布置成一个数据库,应该用什么比较好? hadoop 不是数据库,但可以考虑 hdfs+hbase 如果嫌hadoop麻烦,可以考虑cassandra,最新版也有MR 是个好帖子!!!稍稍顶一下。。 谢谢顶贴,有值得推荐的帖子或博客请留言,谢谢 |
|
![]() ![]() |
|
太好了,学习!
|
|
恐怖如斯,谢谢楼主分享!
|
|
|
|
好,大数据的基础。先留个牙印,以后真可能用
|
|
这个很好,一定要搞起来。。。辛苦楼主
|
|
|
|
好帖啊,多谢楼主分享~
|
|
大数据这个概念现在火了 关注一下
|
|
真不错,正想学习这个,这下可以系统的学习下
![]() |
|
果断收藏,楼主威武
|
|
这个好,希望能及时理新,学习了
|
|
|
|
好,撸主辛苦,收藏了
|
|
刚想学习hadoop,给力,收藏。
|
|
跟紧组织进程....
|
|
进阶应该还加一个hadoop相关经验总结
|
|
谢谢楼主分享
|
|
。。。。占座
|
|
楼主辛苦了
![]() |
|
今天才看到,好贴,赞一个,大师真是尽心尽力啊!
|
|
|
|
撸大师最牛了!
|
|
32个赞!!向撸大湿学习!!
|