占用3.6T的硬盘的一个表,想存放到hbase里,需要用多少个计算机、怎样的硬件呢?

samyp1234 samyp1234 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区
请教大家一个问题,很头疼:
一个很大的表,假定叫t表;其中有360亿条记录,大概占用3.6T的硬盘空间;
对该t表插入数据的方式非常简单,最普通的插入数据的方式;
对该t表读取数据的方式只有一种非常简单的方式,类似于 select ... from t where a = .. and b = ..,读取的并发量不大;
也就是:对t表的使用非常简单;只是数据量非常大;占用硬盘非常大;

现在想使用hbase存储、读取t表的数据;由于没有hbase、hadoop、zokeeper的任何项目经验,由于现在需要估算硬件情况,想请教大家一下:
1,需要几个计算机?每个计算机的作用是什么(比如zookeeper使用几个计算机、hadoop使用几个计算机、hbase使用几个计算机等)?每个计算机的CPU/内存/硬盘各是多少?
2,如果购买云主机,哪个公司的比较便宜、稳定?
...全文

相关推荐

Hbase 使用场景及案例

**大数据处理**:HBase能够分布式存储海量数据,并且随着数据的增长,可以通过增加节点轻松扩展存储容量。3. **可靠性**:由于数据直接写入硬盘,即使在服务器故障的情况下,数据也不会丢失。

weixin_38628552

【信息科学与工程学】计算机科学与自动化-——第十五篇云计算 12 公有云里的“多Region + 多AZ“ 02 运营算法01

算法逐步思考推理思考(含数学方程式、对象、资源、任务、进程/协程/线程及对应的代数、约束、目标函数/传递函数/依赖函数、参数及参数的数值范围及边界条件、逐步推理的数学方程式列表、上下文切换、并发/串行/随机/乱序/顺序)算法逐步思考推理思考(含数学方程式、对象、资源、任务、进程/协程/线程及对应的代数、约束、目标函数/传递函数/依赖函数、参数及参数的数值范围及边界条件、逐步推理的数学方程式列表、上下文切换、并发/串行/随机/乱序/顺序)云厂商提高闲置资源利用率。算法复杂度为O(N),N为实例数量。

flyair_China

hbase-2.2.3-bin.tar.gz

为了确保HBase的稳定运行,你需要关注以下几点:1. **硬件规划**:HBase需要足够的内存和CPU资源,尤其是Region Server。硬盘方面,SSD通常能提供更好的性能。2.

悟天特斯

hadoop+hbase集群搭建 详细手册

HBase:HBase是一个基于Hadoop的分布式数据库,用于存储和处理大规模数据。3. ZooKeeper:ZooKeeper是一个分布式协调服务,用于管理Hadoop和HBase集群。

AndrewWQB

HBase中常用的Shell命令

**单元格(Cell)**: 行键、列族和列限定符共同确定一个单元格,存储在单元格中的数据称为单元值,值没有数据类型,被视为字节数组`byte[]`。6.

Runningluffy
评论 11
收藏 已收藏
分享
返回顶部
samyp1234
Hadoop生态社区 20,842 成员 4,695 内容