引用 6 楼 LinkSe7en 的回复: Quote: 引用 5 楼 samyp1234 的回复: Quote: 引用 4 楼 LinkSe7en 的回复: Quote: 引用 3 楼 samyp1234 的回复: Quote: 引用 2 楼 LinkSe7en 的回复: 建议直接购买云HBase数据库(阿里云:https://cn.aliyun.com/product/hbase其他厂商自行比价)不需要关心zk,hadoop,hbase集群细节,也比你直接买ECS再搭建要便宜省心
建议采用2主5从 主(2核4G)从(4核8G 2T+硬盘)(阿里云约7万+一年)
实际可用容量为从节点数 * 单盘容量 / 2 即 5T
非常感谢啊;
如果自己购买云机器,来搭建;大概需要几个计算机?每个计算机的作用是什么(比如zookeeper使用几个计算机、hadoop使用几个计算机、hbase使用几个计算机等)?每个计算机的CPU/内存/硬盘各是多少?
自建的话 7+个同规格服务器(参考云HBase从节点配置) 用cdh进行搭建。zk3/5个节点 hadoop 2主5从 hbase与hadoop保持一致
另外阿里云版HBase有魔法修改,gc和compact是比其他发行版有优势
非常感谢啊;
如果自己搭建,
1)hadoop用哪个版本的呢(比较稳定)?zk用哪个版本的呢?hbase呢?
2)zk3/5个节点,这些zk放在哪些计算机上呢(hadoop的主上?还是从上?)?
3)如果这种方案,在其中,是否需要使用hadoop的集群?hbase的集群?
1、用cdh最后一个免费版:6.3.2 zk是3.4.5 hadoop 3.0.0 hbase 2.1.0
2、无所谓
3、3个组件都部署在同一个集群里头。hbase是依附hadoop、依赖zk的。当然zk可以和hadoop、hbase分离部署,比如你有现成的zk微服务注册中心
我安装CDH6.3.2,假定我安装了5个机器,分别叫 hadoop1 hadoop2 hadoop3 hadoop4 hadoop5。
hadoop使用了HA、
hadoop的重要配置是:
2个NameNode分别在 hadoop1(active) hadoop3(standby)
5个DataNode 在 hadoop1 hadoop2 hadoop3 hadoop4 hadoop5;
yarn的重要设置是:
3个NodeManager分别在 hadoop1 hadoop2 hadoop3;
2个ResourceManager分别在 hadoop2 hadoop3;
zookeeper的重要设置是:
3个ZookeeperServer分别在 hadoop2 hadoop3 hadoop5;
我的问题是:
1)现在安装hbase,根据上面的设置,如下的,比较合适的节点分配是什么?
Master
HBase REST Server
HBase Thrift Server
RegionServer
2)hbase是否也可以启动HA?