[置顶] [推荐] 【Hadoop问题汇总贴，不定期更新，欢迎大家推荐有代表性的帖子和博文】 [问题点数：200分]
|
各位2014新年好~~~
为了方便新手、高手、老鸟快速的找到自己想要的问题答案~~~ 此贴将汇总论坛中具有价值常见问题，以及CSDN博客中的一些具有代表性的文章~~~ 如果你有看到有价值的论坛帖子或CSDN博客文章，请在本帖中回帖，我会把各位的推荐汇总到主贴中~~~ 撸大湿祝各位Hadooper在新的一年中身体健康、工资翻番、技术越来越牛B~~~ Hadoop基本介绍 Hadoop百度百科 Hadoop之父Doug Cutting 介绍 Hadoop YARN的发展史与详细解析 第一版：Hadoop常规问题 --------------------------------------------------------------华丽的分隔符-------------------------------------------------------------- 一 基础类 Hadoop社区版官网：http://hadoop.apache.org/ 社区版下载地址：http://apache.claz.org/hadoop/common/ 企业发行版（排名不分先后）： Cloudera：http://www.cloudera.com/content/cloudera/en/home.html UCloud UDDP：http://www.ucloud.cn/product/uddp_main/【国内最早推出基于云服务的Hadoop(Cloudera)厂商】 MapR：http://www.mapr.com/ Amazon EMR：http://aws.amazon.com/cn/elasticmapreduce/【跟楼上是对好基友，不解释】 Inter：http://hadoop.intel.com/ Hortonworks：http://www.hortonworks.com/ Hadoop生态系统中的重要组件： Hive：http://hive.apache.org/ 如果你擅长SQL或者从事DBA工作，Hive必学！！ Pig：http://pig.apache.org/ Hive不熟太麻烦？SQL苦手？那就玩这个吧。Pig部署简单、语法易懂，除了不能Insert..... Sqoop：http://sqoop.apache.org/ Hadoop与RDBMS之间的桥梁，轻松搞定ETL HBase：http://hbase.apache.org/ 还在为MySQL如何存储大量业务日志的犯愁吗？分库、分表、分partiton是不是搞得你焦头烂额？HBase助你一臂之力 Chukwa：http://chukwa.apache.org/ 一个开源的用于监控大型分布式系统的数据收集系统。 Hadoop环境搭建 yfkiss教你如何在ubuntu搭建hadoop单机环境：Hadoop单机环境搭建笔记（ubuntu） 该方法适用于hadoop版本：0.20.X 1.X.X 2.X.X(非YARN版适用，YARN版往下看) 海兰教你如何在ubuntu搭建Hadoop2.2.X集群(两台)：Hadoop2.2.0版本多节点集群及eclipse开发环境搭建 该方法适用于hadoop版本：2.X.X。相比yfkiss，博主为节点机配置了HostName，在生产环境中HostName的配置很重要~~~ Hadoop零基础FAQ 分布式和云计算有什么区别 hadoop的应用场景讨论 Hadoop科普文——常见的45个问题解答 CSDN在线培训 第一期：实战为王 【CSDN在线培训QA】梁堰波解SQL-on-Hadoop疑难杂症 第二期：敬请期待........ --------------------------------------------------------------华丽的分隔符-------------------------------------------------------------- 二 HDFS汇总 由于用户权限问题导致的Permission denied：hadoop 启动报错了，网上实在查不到为什么了 由于HostName配错导致的HDFS启动失败：hadoop启动报错 SSH、HostName、iptable导致的启动失败： 新手请教个集群搭建的问题 完全分布式搭建的error（datanode启动不了 9000端口被占用导致HDFS启动失败：Hadoop启动时候报错，报错如下。请大大支招！ 通过java api获取hdfs整体信息：如何通过api获取hdfs整体信息 --------------------------------------------------------------华丽的分隔符-------------------------------------------------------------- 三 MapReduce mapred.job.tracker地址配错导致的MR无法正常启动：http://bbs.csdn.net/topics/370163537 如何在Map和Reduce之间传递静态变量：http://bbs.csdn.net/topics/390418508 如何调试MapReduce：eclipse 不能调试hadoop程序吗？ MapReduce二次排序问题： 为什么我二次排序排不了呢？代码如下 100分求解决2个简单的问题3楼 权限问题导致的Eclipse启动MR失败：http://bbs.csdn.net/topics/390534517 hadoop 404 Not Found /jobtracker.jsp：http://bbs.csdn.net/topics/380114884 MapReduce中合并小文件(Hadoop2.X可用)：hadoop CombineFileInputFormat --------------------------------------------------------------华丽的分隔符-------------------------------------------------------------- 四 Hive/Pig/Sqoop 如何退出Hive进程：hive>如何正常并安全退出 如何解决Join非等值匹配问题：Hive面试题 如何在Hive中映射HBase数据表：HIVE和HBASE数据对接 Hive分隔符问题： hive 分隔符 hive建表及导入数据的问题 Hive查询表 数据全是NULL(Duke147推荐) Sqoop导入Oracle数据的NULL值处理：SQOOP如何不将空字段填为NULL？ 在Hive并行执行脚本：HIVE作业提交的问题 如何在Hive SQL中实现Exists语句：100分求解决2个简单的问题，新手求指导9楼 Pig配置问题：安装PIG出现的问题。 过往记忆介绍Hive 0.11新特性：Hive0.11.0的新特性 --------------------------------------------------------------华丽的分隔符-------------------------------------------------------------- 五 HBase 如何在HBase的表之间做Join操作：Hbase的Join问题 Hfile排序问题导致的数据导入失败：关于mapreduce生成hfile文件 Hadoop Lib库版本不一致导致的HBase启动失败：配置hbase，主节点HMaster启动不起来 如何设置数据的生命周期TTL：亲们，如果设置HBase数据的有效期？ 利用HTablePool解决HTable多线程调用不安全的问题：HBase大批量写入报错~~ Client Put 优化相关：Hbase 入库优化 求大神帮忙看看我的代码如何改进 --------------------------------------------------------------华丽的分隔符-------------------------------------------------------------- 六 Mahout Hadoop集群中的Mahout-distribution-0.7安装与配置（海兰推荐） --------------------------------------------------------------华丽的分隔符-------------------------------------------------------------- 七 其他问题 如何禁止ZooKeeper的日志信息输出：http://bbs.csdn.net/topics/390471281 |
|
|
|
|
|
第二版：Hadoop进阶
--------------------------------------------------------------华丽的分隔符-------------------------------------------------------------- 八 Hadoop 2.X 问题汇总 Hadoop2.2 64位源码编译，如果不想自己编译往下看：hadoop2.2.0 centos 编译安装详解 Hadoop2.2 64位二进制包，由于CSDN资源上传有60MB限制，我把二进制包拆成了2个。编译环境 Centos6.4 x64，JDK1.7:hadoop 2.2 64位 二进制包（上） hadoop 2.2 64位 二进制包（下） --------------------------------------------------------------华丽的分隔符-------------------------------------------------------------- 九 Hadoop 源码相关问题汇总 --------------------------------------------------------------华丽的分隔符-------------------------------------------------------------- 十 MapReduce算法讨论 携程面试的一道MapReduce的题目 --------------------------------------------------------------华丽的分隔符-------------------------------------------------------------- 十一 HBase高级开发 --------------------------------------------------------------华丽的分隔符-------------------------------------------------------------- 十二 Storm相关问题汇总 Storm DRPC调用：Storm 远程DRPC 调用失败 Storm人工智能机器学习：Storm 分布式BP神经网络的Demo 博文：Storm 分布式BP神经网络（开源） --------------------------------------------------------------华丽的分隔符-------------------------------------------------------------- 十三 Spark相关问题汇总 Spark 1.0.0发布，Spark on Yarn 部署(Hadoop2.4 + Spark 1.0.0):http://blog.csdn.net/tntzbzc/article/details/27817189 |
|
|
|
预留占位~~
|
|
|
|
 牛比闪闪的一个汇总贴
|
|
|
|
 尾随花妹 学习
|
|
|
|
紧随周哥步伐！
|
|
|
|
这个可以啊，mark！
|
|
|
|
|
各位有啥好的推荐不？ 博客或者论坛帖子，JAVA版的也行阿 |
|
|
|
http://bbs.csdn.net/topics/390288457?page=1
以前学习的时候记录了一些，都没有整理。。。 |
|
|
|
这个好
学习学习 |
|
|
|
我感觉还不错
|
|
|
|
|
|
|
|
楼主这么吊，你家人知道吗
|
|
|
|
谢谢关注 |
|
|
|
我编辑了，误会
|
|
|
|
有啥好的帖子和博客能推荐一下嘛 |
|
|
|
好东西大家分享
|
|
|
|
感谢楼主分享
|
|
|
|
|
|
|
|
好帖！！！收藏！！
|
|
|
|
这个可以啊，mark一个~~
|
|
|
|
Hadoop集群中的Mahout-distribution-0.7安装与配置
http://blog.csdn.net/hadoop_/article/details/16980707 |
|
|
|
这个可以有，再来一个Mahout-distribution-0.8的吧 凉飕飕。。。 |
|
谢谢楼主！另外能否告知，如果用hadoop布置成一个数据库，应该用什么比较好？
|
|
mark,mark
|
|
|
|
hadoop 不是数据库，但可以考虑 hdfs+hbase 如果嫌hadoop麻烦，可以考虑cassandra，最新版也有MR 谢谢顶贴，有值得推荐的帖子或博客请留言，谢谢 |
|
 MARK一下，，，哈哈。
|
|
太好了，学习！
|
|
恐怖如斯，谢谢楼主分享！
|
|
|
|
好，大数据的基础。先留个牙印，以后真可能用
|
|
这个很好，一定要搞起来。。。辛苦楼主
|
|
|
|
好帖啊，多谢楼主分享~
|
|
大数据这个概念现在火了 关注一下
|
|
真不错，正想学习这个，这下可以系统的学习下
|
|
果断收藏，楼主威武
|
|
这个好，希望能及时理新，学习了
|
|
|
|
好，撸主辛苦，收藏了
|
|
刚想学习hadoop，给力，收藏。
|
|
跟紧组织进程....
|
|
进阶应该还加一个hadoop相关经验总结
|
|
谢谢楼主分享
|
|
。。。。占座
|
|
楼主辛苦了
|
|
今天才看到，好贴，赞一个，大师真是尽心尽力啊！
|
|
|
|
撸大师最牛了！
|
|
32个赞！！向撸大湿学习！！
|
关闭