各位2014新年好~~~
为了方便新手、高手、老鸟快速的找到自己想要的问题答案~~~
此贴将汇总论坛中具有价值常见问题,以及CSDN博客中的一些具有代表性的文章~~~
如果你有看到有价值的论坛帖子或CSDN博客文章,请在本帖中回帖,我会把各位的推荐汇总到主贴中~~~
撸大湿祝各位Hadooper在新的一年中身体健康、工资翻番、技术越来越牛B~~~
Hadoop基本介绍
Hadoop百度百科
Hadoop之父Doug Cutting 介绍
Hadoop YARN的发展史与详细解析
第一版:Hadoop常规问题
--------------------------------------------------------------华丽的分隔符--------------------------------------------------------------
一 基础类
Hadoop社区版官网:
http://hadoop.apache.org/
社区版下载地址:
http://apache.claz.org/hadoop/common/
企业发行版(排名不分先后):
Cloudera:
http://www.cloudera.com/content/cloudera/en/home.html
UCloud UDDP:
http://www.ucloud.cn/product/uddp_main/【国内最早推出基于云服务的Hadoop(Cloudera)厂商】
MapR:
http://www.mapr.com/
Amazon EMR:
http://aws.amazon.com/cn/elasticmapreduce/【跟楼上是对好基友,不解释】
Inter:
http://hadoop.intel.com/
Hortonworks:
http://www.hortonworks.com/
Hadoop生态系统中的重要组件:
Hive:
http://hive.apache.org/
如果你擅长SQL或者从事DBA工作,Hive必学!!
Pig:
http://pig.apache.org/
Hive不熟太麻烦?SQL苦手?那就玩这个吧。Pig部署简单、语法易懂,除了不能Insert.....
Sqoop:
http://sqoop.apache.org/
Hadoop与RDBMS之间的桥梁,轻松搞定ETL
HBase:
http://hbase.apache.org/
还在为MySQL如何存储大量业务日志的犯愁吗?分库、分表、分partiton是不是搞得你焦头烂额?HBase助你一臂之力
Chukwa:
http://chukwa.apache.org/
一个开源的用于监控大型分布式系统的数据收集系统。
Hadoop环境搭建
yfkiss教你如何在ubuntu搭建hadoop单机环境:
Hadoop单机环境搭建笔记(ubuntu)
该方法适用于hadoop版本:0.20.X 1.X.X 2.X.X(非YARN版适用,YARN版往下看)
海兰教你如何在ubuntu搭建Hadoop2.2.X集群(两台):
Hadoop2.2.0版本多节点集群及eclipse开发环境搭建
该方法适用于hadoop版本:2.X.X。相比yfkiss,博主为节点机配置了HostName,在生产环境中HostName的配置很重要~~~
Hadoop零基础FAQ
分布式和云计算有什么区别
hadoop的应用场景讨论
Hadoop科普文——常见的45个问题解答
CSDN在线培训
第一期:
实战为王 【CSDN在线培训QA】梁堰波解SQL-on-Hadoop疑难杂症
第二期:敬请期待........
--------------------------------------------------------------华丽的分隔符--------------------------------------------------------------
二 HDFS汇总
由于用户权限问题导致的Permission denied:
hadoop 启动报错了,网上实在查不到为什么了
由于HostName配错导致的HDFS启动失败:
hadoop启动报错
SSH、HostName、iptable导致的启动失败:
新手请教个集群搭建的问题
完全分布式搭建的error(datanode启动不了
9000端口被占用导致HDFS启动失败:
Hadoop启动时候报错,报错如下。请大大支招!
通过java api获取hdfs整体信息:
如何通过api获取hdfs整体信息
--------------------------------------------------------------华丽的分隔符--------------------------------------------------------------
三 MapReduce
mapred.job.tracker地址配错导致的MR无法正常启动:
http://bbs.csdn.net/topics/370163537
如何在Map和Reduce之间传递静态变量:
http://bbs.csdn.net/topics/390418508
如何调试MapReduce:
eclipse 不能调试hadoop程序吗?
MapReduce二次排序问题:
为什么我二次排序排不了呢?代码如下
100分求解决2个简单的问题3楼
权限问题导致的Eclipse启动MR失败:
http://bbs.csdn.net/topics/390534517
hadoop 404 Not Found /jobtracker.jsp:
http://bbs.csdn.net/topics/380114884
MapReduce中合并小文件(Hadoop2.X可用):
hadoop CombineFileInputFormat
--------------------------------------------------------------华丽的分隔符--------------------------------------------------------------
四 Hive/Pig/Sqoop
如何退出Hive进程:
hive>如何正常并安全退出
如何解决Join非等值匹配问题:
Hive面试题
如何在Hive中映射HBase数据表:
HIVE和HBASE数据对接
Hive分隔符问题:
hive 分隔符
hive建表及导入数据的问题
Hive查询表 数据全是NULL(Duke147推荐)
Sqoop导入Oracle数据的NULL值处理:
SQOOP如何不将空字段填为NULL?
在Hive并行执行脚本:
HIVE作业提交的问题
如何在Hive SQL中实现Exists语句:
100分求解决2个简单的问题,新手求指导9楼
Pig配置问题:
安装PIG出现的问题。
过往记忆介绍Hive 0.11新特性:
Hive0.11.0的新特性
--------------------------------------------------------------华丽的分隔符--------------------------------------------------------------
五 HBase
如何在HBase的表之间做Join操作:
Hbase的Join问题
Hfile排序问题导致的数据导入失败:
关于mapreduce生成hfile文件
Hadoop Lib库版本不一致导致的HBase启动失败:
配置hbase,主节点HMaster启动不起来
如何设置数据的生命周期TTL:
亲们,如果设置HBase数据的有效期?
利用HTablePool解决HTable多线程调用不安全的问题:
HBase大批量写入报错~~
Client Put 优化相关:
Hbase 入库优化 求大神帮忙看看我的代码如何改进
--------------------------------------------------------------华丽的分隔符--------------------------------------------------------------
六 Mahout
Hadoop集群中的Mahout-distribution-0.7安装与配置(海兰推荐)
--------------------------------------------------------------华丽的分隔符--------------------------------------------------------------
七 其他问题
如何禁止ZooKeeper的日志信息输出:
http://bbs.csdn.net/topics/390471281