社区
Java SE
帖子详情
海量数据,如何存储,如果支持任意的实时的查询
tuoluofo6
2012-10-09 10:46:07
比如每天100亿条记录
要支持各种复杂查询,比如group 等等。
如果要分表,比如每天一表,那怎么分组group统计呢。
如何存储呢。
可以支持任意多的数据。
...全文
73
回复
打赏
收藏
海量数据,如何存储,如果支持任意的实时的查询
比如每天100亿条记录 要支持各种复杂查询,比如group 等等。 如果要分表,比如每天一表,那怎么分组group统计呢。 如何存储呢。 可以支持任意多的数据。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
CC00001.hbase——|Hadoop&HBase.V01|——|HBase.v01|概述.v01|
一、HBase 简介 ### --- [HBase] ~~~ [HBase简介之HBase是什么] ~~~ [HBase简介之HBase特点及应用场景] ~~~ [HBase
数据
模型] ~~~ [HBase整体架构] ### --- HBase是什么 ~~~ HBase 基于 Google的BigTable论文而来,是一个分布式
海量
列式非...
演讲实录:“分布式
数据
库
海量
数据
存储
和
实时
查询
实现与应用”
简单介绍我们公司,有些朋友还不太了解。我们公司叫巨杉
数据
库,核心产品是SequoiaDB巨杉
数据
库。是我们的团队完全从零开始研发的。巨杉
数据
库是商业
数据
库,同时我们本身也将产品开源,我们是中国第一款商业开源
数据
库产品 美国硅谷有《红鲱鱼》杂志,评了全球企业100强,绝大多数是硅谷的企业,只有少数中国企业,这是对我们创新能力的认可。 这是2016年的硅谷大
数据
全景图,本图囊括当今世界上所有的科技
海量
数据
查询
方案设计
本文探讨了
海量
数据
存储
与
查询
的解决方案。针对分析类系统,作者提出根据
数据
量级选择不同
存储
:GB级可用MySQL,TB级推荐列式
数据
库如HBase或ES,PB级则需配合HDFS和大
数据
生态工具。重点强调"没有万能
存储
",必须根据具体
查询
需求反推
存储
方案,建议将同一
数据
按不同
查询
需求组织成多种结构并存于不同系统。文中还解答了日志系统选型、Kafka高性能原理、内存
数据
库机制等常见问题,指出ES实质是磁盘
存储
为主,与Redis有本质区别。最后建议在
数据
量极大时接受MR的计算延迟,通过预计算和二
HDFS 与 HBase 的协同:
海量
数据
存储
与
查询
我是张三,资深大
数据
工程师,专注分布式
存储
与
查询
。曾参与多个大型电商大
数据
项目,擅长用Hadoop、HBase、Spark解决实际问题。我的公众号「大
数据
干货铺」,分享实用的大
数据
技术,欢迎关注。最后:大
数据
的本质是「用正确的工具解决正确的问题HDFS与HBase的协同,就是这样的「正确组合」——希望这篇文章能帮你少走弯路,快速解决大
数据
存储
与
查询
的难题!
海量
数据
存储
最佳实践
的
海量
数据
场景,如:前端埋点
数据
写入、监控
数据
采集、Flink State 持久化、
数据
库底层写入,是 Java 大
数据
/ 中间件开发的核心
数据
结构之一。WAL(预写日志)、MemTable(内存有序表)、Immutable MemTable(只读内存表)、SSTable(磁盘有序表)、分层合并机制。,构建「集中
存储
(MySQL/ES)+ 本地
存储
(RocksDB)」的混合体系,解决秒杀场景的高并发读写瓶颈。,是互联网公司
数据
量最大的类型,远大于订单 / 商品等业务
数据
(2-3 个数量级),选型分。
Java SE
62,621
社区成员
307,251
社区内容
发帖
与我相关
我的任务
Java SE
Java 2 Standard Edition
复制链接
扫一扫
分享
社区描述
Java 2 Standard Edition
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章