占用3.6T的硬盘的一个表，想存放到hbase里，需要用多少个计算机、怎样的硬件呢？

其他技术论坛 > 分布式计算/Hadoop
收藏 回复
[问题点数：50分，结帖人samyp1234]
更多帖子
私信 空间 博客
samyp1234
等级
本版专家分：0
结帖率 96.53%
请教大家一个问题，很头疼：
一个很大的表，假定叫t表；其中有360亿条记录，大概占用3.6T的硬盘空间；
对该t表插入数据的方式非常简单，最普通的插入数据的方式；
对该t表读取数据的方式只有一种非常简单的方式，类似于 select ... from t where a = .. and b = ..，读取的并发量不大；
也就是：对t表的使用非常简单；只是数据量非常大；占用硬盘非常大；

现在想使用hbase存储、读取t表的数据；由于没有hbase、hadoop、zokeeper的任何项目经验，由于现在需要估算硬件情况，想请教大家一下：
1，需要几个计算机？每个计算机的作用是什么（比如zookeeper使用几个计算机、hadoop使用几个计算机、hbase使用几个计算机等）？每个计算机的CPU/内存/硬盘各是多少？
2，如果购买云主机，哪个公司的比较便宜、稳定？
只看楼主 引用 举报 楼主 收起
展开阅读全文
更多帖子
私信 空间 博客
samyp1234
等级
本版专家分：0
请教大家；希望得到指教啊；
只看TA 引用 举报 #1得分 0
更多帖子
私信 空间 博客
LinkSe7en
等级
本版专家分：0
建议直接购买云HBase数据库（阿里云：https://cn.aliyun.com/product/hbase其他厂商自行比价）不需要关心zk，hadoop，hbase集群细节，也比你直接买ECS再搭建要便宜省心
建议采用2主5从 主（2核4G）从（4核8G 2T+硬盘）（阿里云约7万+一年）
实际可用容量为从节点数 * 单盘容量 / 2 即 5T
只看TA 引用 举报 #2得分 0
更多帖子
私信 空间 博客
samyp1234
等级
本版专家分：0
引用 2 楼 LinkSe7en 的回复:
建议直接购买云HBase数据库（阿里云：https://cn.aliyun.com/product/hbase其他厂商自行比价）不需要关心zk，hadoop，hbase集群细节，也比你直接买ECS再搭建要便宜省心
建议采用2主5从 主（2核4G）从（4核8G 2T+硬盘）（阿里云约7万+一年）
实际可用容量为从节点数 * 单盘容量 / 2 即 5T


非常感谢啊；
如果自己购买云机器，来搭建；大概需要几个计算机？每个计算机的作用是什么（比如zookeeper使用几个计算机、hadoop使用几个计算机、hbase使用几个计算机等）？每个计算机的CPU/内存/硬盘各是多少？
只看TA 引用 举报 #3得分 0
更多帖子
私信 空间 博客
LinkSe7en
等级
本版专家分：0
引用 3 楼 samyp1234 的回复:
Quote: 引用 2 楼 LinkSe7en 的回复:
建议直接购买云HBase数据库（阿里云：https://cn.aliyun.com/product/hbase其他厂商自行比价）不需要关心zk，hadoop，hbase集群细节，也比你直接买ECS再搭建要便宜省心
建议采用2主5从 主（2核4G）从（4核8G 2T+硬盘）（阿里云约7万+一年）
实际可用容量为从节点数 * 单盘容量 / 2 即 5T


非常感谢啊；
如果自己购买云机器，来搭建；大概需要几个计算机？每个计算机的作用是什么（比如zookeeper使用几个计算机、hadoop使用几个计算机、hbase使用几个计算机等）？每个计算机的CPU/内存/硬盘各是多少？

自建的话 7+个同规格服务器（参考云HBase从节点配置） 用cdh进行搭建。zk3/5个节点 hadoop 2主5从 hbase与hadoop保持一致
另外阿里云版HBase有魔法修改，gc和compact是比其他发行版有优势
只看TA 引用 举报 #4得分 50
更多帖子
私信 空间 博客
samyp1234
等级
本版专家分：0
引用 4 楼 LinkSe7en 的回复:
Quote: 引用 3 楼 samyp1234 的回复:
Quote: 引用 2 楼 LinkSe7en 的回复:
建议直接购买云HBase数据库（阿里云：https://cn.aliyun.com/product/hbase其他厂商自行比价）不需要关心zk，hadoop，hbase集群细节，也比你直接买ECS再搭建要便宜省心
建议采用2主5从 主（2核4G）从（4核8G 2T+硬盘）（阿里云约7万+一年）
实际可用容量为从节点数 * 单盘容量 / 2 即 5T


非常感谢啊；
如果自己购买云机器，来搭建；大概需要几个计算机？每个计算机的作用是什么（比如zookeeper使用几个计算机、hadoop使用几个计算机、hbase使用几个计算机等）？每个计算机的CPU/内存/硬盘各是多少？

自建的话 7+个同规格服务器（参考云HBase从节点配置） 用cdh进行搭建。zk3/5个节点 hadoop 2主5从 hbase与hadoop保持一致
另外阿里云版HBase有魔法修改，gc和compact是比其他发行版有优势


非常感谢啊；
如果自己搭建，
1）hadoop用哪个版本的呢（比较稳定）？zk用哪个版本的呢？hbase呢？
2）zk3/5个节点，这些zk放在哪些计算机上呢（hadoop的主上？还是从上？）？
3）如果这种方案，在其中，是否需要使用hadoop的集群？hbase的集群？


只看TA 引用 举报 #5得分 0
更多帖子
私信 空间 博客
LinkSe7en
等级
本版专家分：0
引用 5 楼 samyp1234 的回复:
Quote: 引用 4 楼 LinkSe7en 的回复:
Quote: 引用 3 楼 samyp1234 的回复:
Quote: 引用 2 楼 LinkSe7en 的回复:
建议直接购买云HBase数据库（阿里云：https://cn.aliyun.com/product/hbase其他厂商自行比价）不需要关心zk，hadoop，hbase集群细节，也比你直接买ECS再搭建要便宜省心
建议采用2主5从 主（2核4G）从（4核8G 2T+硬盘）（阿里云约7万+一年）
实际可用容量为从节点数 * 单盘容量 / 2 即 5T


非常感谢啊；
如果自己购买云机器，来搭建；大概需要几个计算机？每个计算机的作用是什么（比如zookeeper使用几个计算机、hadoop使用几个计算机、hbase使用几个计算机等）？每个计算机的CPU/内存/硬盘各是多少？

自建的话 7+个同规格服务器（参考云HBase从节点配置） 用cdh进行搭建。zk3/5个节点 hadoop 2主5从 hbase与hadoop保持一致
另外阿里云版HBase有魔法修改，gc和compact是比其他发行版有优势


非常感谢啊；
如果自己搭建，
1）hadoop用哪个版本的呢（比较稳定）？zk用哪个版本的呢？hbase呢？
2）zk3/5个节点，这些zk放在哪些计算机上呢（hadoop的主上？还是从上？）？
3）如果这种方案，在其中，是否需要使用hadoop的集群？hbase的集群？



1、用cdh最后一个免费版：6.3.2 zk是3.4.5 hadoop 3.0.0 hbase 2.1.0
2、无所谓
3、3个组件都部署在同一个集群里头。hbase是依附hadoop、依赖zk的。当然zk可以和hadoop、hbase分离部署，比如你有现成的zk微服务注册中心
只看TA 引用 举报 #6得分 0
更多帖子
私信 空间 博客
samyp1234
等级
本版专家分：0
引用 6 楼 LinkSe7en 的回复:
Quote: 引用 5 楼 samyp1234 的回复:
Quote: 引用 4 楼 LinkSe7en 的回复:
Quote: 引用 3 楼 samyp1234 的回复:
Quote: 引用 2 楼 LinkSe7en 的回复:
建议直接购买云HBase数据库（阿里云：https://cn.aliyun.com/product/hbase其他厂商自行比价）不需要关心zk，hadoop，hbase集群细节，也比你直接买ECS再搭建要便宜省心
建议采用2主5从 主（2核4G）从（4核8G 2T+硬盘）（阿里云约7万+一年）
实际可用容量为从节点数 * 单盘容量 / 2 即 5T


非常感谢啊；
如果自己购买云机器，来搭建；大概需要几个计算机？每个计算机的作用是什么（比如zookeeper使用几个计算机、hadoop使用几个计算机、hbase使用几个计算机等）？每个计算机的CPU/内存/硬盘各是多少？

自建的话 7+个同规格服务器（参考云HBase从节点配置） 用cdh进行搭建。zk3/5个节点 hadoop 2主5从 hbase与hadoop保持一致
另外阿里云版HBase有魔法修改，gc和compact是比其他发行版有优势


非常感谢啊；
如果自己搭建，
1）hadoop用哪个版本的呢（比较稳定）？zk用哪个版本的呢？hbase呢？
2）zk3/5个节点，这些zk放在哪些计算机上呢（hadoop的主上？还是从上？）？
3）如果这种方案，在其中，是否需要使用hadoop的集群？hbase的集群？



1、用cdh最后一个免费版：6.3.2 zk是3.4.5 hadoop 3.0.0 hbase 2.1.0
2、无所谓
3、3个组件都部署在同一个集群里头。hbase是依附hadoop、依赖zk的。当然zk可以和hadoop、hbase分离部署，比如你有现成的zk微服务注册中心



我安装CDH6.3.2，假定我安装了5个机器，分别叫 hadoop1 hadoop2 hadoop3 hadoop4 hadoop5。
hadoop使用了HA、
hadoop的重要配置是：
  2个NameNode分别在 hadoop1(active)  hadoop3(standby)
  5个DataNode 在 hadoop1 hadoop2 hadoop3 hadoop4 hadoop5；

yarn的重要设置是：
  3个NodeManager分别在 hadoop1 hadoop2 hadoop3；
  2个ResourceManager分别在 hadoop2 hadoop3；

zookeeper的重要设置是：
  3个ZookeeperServer分别在 hadoop2 hadoop3 hadoop5；

我的问题是：
1）现在安装hbase，根据上面的设置，如下的，比较合适的节点分配是什么？
 Master                 
 HBase REST Server
 HBase Thrift Server
 RegionServer             
2）hbase是否也可以启动HA？

只看TA 引用 举报 #7得分 0
更多帖子
私信 空间 博客
LinkSe7en
等级
本版专家分：0
引用 7 楼 samyp1234 的回复:
Quote: 引用 6 楼 LinkSe7en 的回复:
Quote: 引用 5 楼 samyp1234 的回复:
Quote: 引用 4 楼 LinkSe7en 的回复:
Quote: 引用 3 楼 samyp1234 的回复:
Quote: 引用 2 楼 LinkSe7en 的回复:
建议直接购买云HBase数据库（阿里云：https://cn.aliyun.com/product/hbase其他厂商自行比价）不需要关心zk，hadoop，hbase集群细节，也比你直接买ECS再搭建要便宜省心
建议采用2主5从 主（2核4G）从（4核8G 2T+硬盘）（阿里云约7万+一年）
实际可用容量为从节点数 * 单盘容量 / 2 即 5T


非常感谢啊；
如果自己购买云机器，来搭建；大概需要几个计算机？每个计算机的作用是什么（比如zookeeper使用几个计算机、hadoop使用几个计算机、hbase使用几个计算机等）？每个计算机的CPU/内存/硬盘各是多少？

自建的话 7+个同规格服务器（参考云HBase从节点配置） 用cdh进行搭建。zk3/5个节点 hadoop 2主5从 hbase与hadoop保持一致
另外阿里云版HBase有魔法修改，gc和compact是比其他发行版有优势


非常感谢啊；
如果自己搭建，
1）hadoop用哪个版本的呢（比较稳定）？zk用哪个版本的呢？hbase呢？
2）zk3/5个节点，这些zk放在哪些计算机上呢（hadoop的主上？还是从上？）？
3）如果这种方案，在其中，是否需要使用hadoop的集群？hbase的集群？



1、用cdh最后一个免费版：6.3.2 zk是3.4.5 hadoop 3.0.0 hbase 2.1.0
2、无所谓
3、3个组件都部署在同一个集群里头。hbase是依附hadoop、依赖zk的。当然zk可以和hadoop、hbase分离部署，比如你有现成的zk微服务注册中心



我安装CDH6.3.2，假定我安装了5个机器，分别叫 hadoop1 hadoop2 hadoop3 hadoop4 hadoop5。
hadoop使用了HA、
hadoop的重要配置是：
  2个NameNode分别在 hadoop1(active)  hadoop3(standby)
  5个DataNode 在 hadoop1 hadoop2 hadoop3 hadoop4 hadoop5；

yarn的重要设置是：
  3个NodeManager分别在 hadoop1 hadoop2 hadoop3；
  2个ResourceManager分别在 hadoop2 hadoop3；

zookeeper的重要设置是：
  3个ZookeeperServer分别在 hadoop2 hadoop3 hadoop5；

我的问题是：
1）现在安装hbase，根据上面的设置，如下的，比较合适的节点分配是什么？
 Master                 
 HBase REST Server
 HBase Thrift Server
 RegionServer             
2）hbase是否也可以启动HA？


1、纯HBase集群不需要安装Yarn，除非你要用MapReduce或者其他分布式框架访问HBase
2、REST和Thrift是选装的，这是为非java语言访问准备的。都丢你认为比较空闲的一台就可以了。
3、HA必须开。MASTER就是主 RegionServer就是从，跟随HDFS的配置就可以了。
只看TA 引用 举报 #8得分 0
更多帖子
私信 空间 博客
samyp1234
等级
本版专家分：0
引用 2 楼 LinkSe7en 的回复:
建议直接购买云HBase数据库（阿里云：https://cn.aliyun.com/product/hbase其他厂商自行比价）不需要关心zk，hadoop，hbase集群细节，也比你直接买ECS再搭建要便宜省心
建议采用2主5从 主（2核4G）从（4核8G 2T+硬盘）（阿里云约7万+一年）
实际可用容量为从节点数 * 单盘容量 / 2 即 5T


多谢多谢；
如果这样计划的硬件，是比较合适的吧？ 假如硬件再差些，还可以吗 ？ 
只看TA 引用 举报 #9得分 0
更多帖子
私信 空间 博客
LinkSe7en
等级
本版专家分：0
引用 9 楼 samyp1234 的回复:
Quote: 引用 2 楼 LinkSe7en 的回复:
建议直接购买云HBase数据库（阿里云：https://cn.aliyun.com/product/hbase其他厂商自行比价）不需要关心zk，hadoop，hbase集群细节，也比你直接买ECS再搭建要便宜省心
建议采用2主5从 主（2核4G）从（4核8G 2T+硬盘）（阿里云约7万+一年）
实际可用容量为从节点数 * 单盘容量 / 2 即 5T


多谢多谢；
如果这样计划的硬件，是比较合适的吧？ 假如硬件再差些，还可以吗 ？ 

至少3从，因为默认副本数是2，少于3从容易丢数据。然后每台硬盘加大。
从节点可以随时增加和减少。
只看TA 引用 举报 #10得分 0
1 2
收起
收藏 回复
samyp1234

等级：

关注 私信 TA的帖子
20张图带你到HBase的世界遨游

1 HBase 浅析1.1 HBase 是啥HBase 是一款面向列存储，用于存储处理海量数据的 NoSQL 数据库。它的理论原型是 Google 的 BigTable 论文。你可以认...

HBase学习

本文是一篇HBase学习综述，将会介绍HBase的特点、对比其他数据存储技术、、架构、存储、数据结构、使用、过滤器等。 未完成 0x02 HBase基础概念 2.1 HBase是什么 2.2 HBase相对于RDMBS能解决什么问题 2.3 HBase...

Hbase

##一、关系型数据库和非关系型数据库的特点 关系型数据库：Mysql，Oracle 非关系型数据库：Hbase，Mongo，Cassandra，redis 数据库类型|特性|优点|缺点 --|--|--|-- 关系型数据库|1、采用了关系模型来组织数据 2、...

HBASE详解

原 Hbase 2019-10-22 20:16:13 erchouchou 阅读数 680 文章目录 Hbase 来源： 应用： 行业： Hbase定义： Hbase特性： Hbase shell namespace DDL DML Hbase Java Api 依赖 HbaseUtils HbaseDemo Hbase过滤器 Hbase...

hbase 总结

一、HBase Get 流程 1.1、客户端流程解析 客户端首先会根据配置文件中zookeeper地址连接zookeeper，并读取//meta-region-server节点信息，该节点信息存储HBase元数据（hbase:meta）表所在的RegionServer地址以及...

HBase最佳实践

本文致力于从架构原理、集群部署、性能优化与使用技巧等方面，阐述在如何基于HBase构建 容纳大规模数据、支撑高并发、毫秒响应、稳定高效的OLTP实时系统 。 一、架构原理 1.1 基本架构 从上层往下可以看到HBase架构...

如何基于HBase构建容纳大规模数据、支撑高并发、毫秒响应、稳定高效的OLTP实时系统

前言 本文致力于从架构原理、集群部署、性能优化与使用技巧等方面，阐述在如何基于HBase构建容纳大规模数据、支撑高并发、...Client是执行查询、写入等对HBase表数据进行增删改查的使用方，可以是使用HBase Client API

HBase 官方文档

HBase官方文档Revision History Revision 0.90.4 配置，数据模型使用入门 Abstract这是 Apache HBase的官方文档, Hbase是一个分布式,版本化(versioned)，构建在Apache Hadoop和 Apache ZooKeeper上的列数据库....

hbase bigtable 安装

hbase bigtable 1.1 hbase数据库介绍 1、简介 hbase是基于Google BigTable模型开发的，典型的key/value系统。是建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。它是Apache ...

HBASE从入门到精通

HBASE从入门到精通   Hadoop学习教程: http://ihadoop.taobao.com http://item.taobao.com/item.htm?...一、 HBase技术介绍 ...HBase简介 ...HBase – Hadoop Database，是一个高可靠性、高性能、面

HBase应该知道的

本文是一篇HBase学习综述，将会介绍HBase的特点、对比其他数据存储技术、架构、存储、数据结构、使用、过滤器等。 关于Phoenix on HBase，即Sql化的HBase服务，可以参考Phoenix学习 未完成 2 HBase基础概念 2.1 ...

多个key作为参数进行删除_Redis：Key-Value的NoSQL数据库

主要内容Redis简介使用Redis作为缓存工具时流程Redis单机版安装Redis数据类型Redis持久化策略Redis主从复制哨兵（Sentinel）Redis集群（Cluster）Jedis配套视频教程：Redis精品实战教程一、...

23 hbase（下）

文章目录hbase（下）一、hbase与MR的集成需求一：读取myuser这张表当中的数据写入到HBase的另外一张表当中去第一步：创建myuser2这张表第二步：创建maven工程，导入jar包第三步：开发MR的程序二、hbase与hive集成三...

初学者VmWare安装CentOS6.4虚拟机搭建hadoop1.2.1\hbase0.94.12环境

 主要是希望对以后能有个笔记的东西所以记下...一 使用VmWare安装CentOS6.4虚拟机  安装所需软件vmware、CentOS，我使用的vmware版本是7.0.0 build-203739，下载地址https://my.vmware.com/cn/web/vmware/down...

[面面面]一篇搞定计算机面试常见知识点（8w字更新中）

写这篇文章的目的是为了在摸鱼或者备考时打开看一看，感受一下计算机知识海洋的浩瀚。本文部分内容是我自己的理解也有部分是网络上我认为总结的比较好进而抄录整理得来。

spark面试题(觉得不错麻烦点个赞2020)

spark面试题一 1、spark的有几种部署模式，每种模式...​ local：只启动一个executor ​ local[k]:启动k个executor ​ local[*]：启动跟cpu数目相同的 executor 2）standalone模式 ​ 分布式部署集群，自带完整的服务

学习Oracle这一篇就够了

第一章 数据库概述1.1、数据库的好处1.2、数据库的常见概念1.3、数据库的存储特点1.4、数据库的常见分类1.5、SQL语言的分类 第二章 Oracle概述2.1、Oracle的概述2.2、Oracle的下载2.3、Oracle的安装2.4、Oracle的...

学习MySQL这一篇就够了

第一章 数据库概述 1.1、数据库的好处 将数据持久化到本地 提供结构化查询功能 1.2、数据库的常见概念 DB：数据库，存储数据的仓库 DBS：数据库管理系统，又...一个库中可以有多张表，每张表具有唯一的表名用来标识

（收藏）MySQL从入门到进阶这一篇就够了

https://blog.csdn.net/qq_38490457/article/details/107640904?utm_source=app

听说这个最全的Mysql红宝书

目录第一章 数据库概述1.1、数据库的好处1.2、数据库的常见概念1.3、数据库的存储特点1.4、数据库的常见分类1.5、SQL语言的分类第二章 MySQL概述2...

大数据面试题

2.23. 我们开发job时，是否可以去掉reduce阶段。可以。设置reduce数为0 即可。2.24. datanode在什么情况下不会备份datanode在强制关闭或者非正常断电不会备份。2.25. combiner出现在那个过程出现在map阶段的map方法...

大数据面试题及答案-汇总版

大数据面试题及答案汇总版 当前版本：Ver 1.0制作单位： 编写人员：审 核 人： 签 收 人： 签署日期： 2017 年 05 月 22 日 文档信息版本号1.0版本日期2017-05-22所有者 作者修订记录日期描述作者版本号2017-...

大数据工程师面试题(4)

2.23. 我们开发job时，是否可以去掉reduce阶段。可以。设置reduce数为0 即可。2.24. datanode在什么情况下不会备份datanode在强制关闭或者非正常断电不会备份。2.25. combiner出现在那个过程出现在map阶段的map方法...

大数据技术之高频面试题

第一章 项目涉及技术 1.1Linux&Shell 1.1.1 Linux常用高级命令 序号 命令 命令解释 1 top 查看内存 2 df -h ...

jdk1.8 64位官方正式版 jdk-8u91-windows

jdk1.8 64位官方正式版 jdk-8u91-windows

C#入门必看实力程序100个

C#入门必看含有100个例字,每个例子都是针对C#的学习关键知识点设计的,是学习C#必须知道的一些程序例子,分享给大家，需要的可以下载

Java面试题大全（备战2021）

这本面试手册包含了Java基础、Java集合、JVM、Spring、Spring Boot、Spring Cloud、Mysql、Redis、RabbitMQ、Dubbo、Netty、分布式及架构设计等方面的技术点。内容难度参差，满足初中高级Java工程师的面试需求。

Origin 2018 安装资源+安装教程

该TXT文档包含以下内容：Origin 2018 安装包的百度云链接（永久）以及 Origin 2018 的安装教程。

七夕情人节表白HTML源码(两款)

七夕节、情人节表白用的HTML源码(两款)

jd_seckill京东抢茅台插件最新版【京东飞天茅台1499抢购】Python脚本的完整安装+使用教程

jd_seckill京东抢茅台插件最新版【京东飞天茅台1499抢购】Python脚本的完整安装+使用教程，这个很好用，稳定出单！

相关热词 c#dll vb 调用 c# outlook c#修改表数据 c# 子窗体值返给父窗体 c# label 格式化 c# 程序如何控制摄像头 c# 获取运行时间 c#知识点结构图 微软c# c#解析owl