hadoop集群怎样分布才算是合理的

qq_36779209 2017-02-23 11:01:23
假如我有一个hadoop集群
三台PC服务器
zookeeper、hive、hbase、 Spark、Sqoop、Mahout应当如何部署才合理呢？
...全文
246 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
qq_36779209 2017-02-27
  • 打赏
  • 举报
 回复
可以详细点不？可以说说你们这样分布的好处吗？
LinkSe7en 2017-02-23
  • 打赏
  • 举报
 回复
引用 1 楼 hei854791774 的回复:
zookeeper（3台）、hive（1台）、hbase（3台）、 Spark（3台）、Sqoop（1台）、Mahout（3台） 机器A 机器B 机器C --------------------------------------------------------------------------------------------------------- zookeeper √ √ √ --------------------------------------------------------------------------------------------------------- hive √ --------------------------------------------------------------------------------------------------------- hbase √ --------------------------------------------------------------------------------------------------------- Spark √ √ √ --------------------------------------------------------------------------------------------------------- Mahout √ √ √ --------------------------------------------------------------------------------------------------------- Sqoop √ ---------------------------------------------------------------------------------------------------------
如果只有3台，Spark单节点部署，作业放yarn上运行比较合适。HBase也是全节点部署
hadoop解决集群总资源为0的情况
项目场景： sqoop从mysql到hive的问题 hadoop解决集群总资源为0的情况 问题描述 在使用sqoop将数据从mysql导入到hive当中的时候，出现了一个问题 bin/sqoop import --connect jdbc:mysql://master01:3306/demo_test?useSSL=false --username root --password xxxx --target-dir /usr/hive/warehouse/test001 --table backup --
Alex 的 Hadoop 菜鸟教程: 第1课 hadoop体系介绍
原帖地址：http://blog.csdn.net/nsrainbow/article/details/36396007 本教程适用人群 如果你是以下的几类人中的一种 老板叫我搭建一个hadoop集群，但是我还什么都不懂，网上的教程概念介绍的好多，我看的头晕，咋办？ 我想学hadoop但是我是个完全不懂的小白，hadoop有这么多的东西，我究竟要学那些算是能学会hadoop？ 那么你就是本...
1、hadoop3.1.4简单介绍及部署、简单验证
Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度MAPREDUCE（分布式运算编程框架）：解决海量数据计算Hadoop通常是指一个更广泛的概念——Hadoop生态圈。
[学习笔记]黑马程序员-Hadoop入门视频教程
[学习笔记]黑马程序员-Hadoop入门视频教程
【Hadoop】二、Hadoop MapReduce与Hadoop YARN
分布式计算概念分布式计算是一种计算方法，和集中式计算是相对的。随着计算技术的发展，有些应用需要非常巨大的计算能力才能完成，如果采用集中式计算，需要耗费相当长的时间来完成。分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理。这样可以节约整体计算时间，大大提高计算效率。MapReduce介绍Hadoop MapReduce是一个分布式计算框架，用于轻松编写分布式应用程序，这些应用程序以可靠，容错的方式并行处理大型硬件集群（数千个节点）上的大量数据（多TB数据集）。
Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区，致力于有Hadoop，hive，Spark，Hbase，Flink，ClickHouse，Kafka，数据仓库，大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章