百度开源数据库tera问题

Vist_1 2018-06-21 07:18:05

求百度开源数据库tera中的compact流程，或者哪位大神有tera_understanding.md这个文档，在github上找不到

...全文

183 回复打赏收藏举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

Tera作为百度自主研发的开源Bigtable风格分布式数据库，旨在解决传统关系型数据库在海量数据场景下的扩展性瓶颈。随着百度搜索、推荐系统等业务迅猛发展，单机数据库已无法支撑万亿级数据存储与百万QPS高并发访问需求。在此背景下，Tera借鉴Google Bigtable的列式存储与分布式架构思想，结合中国互联网高并发、低延迟的实际场景，在可扩展性、高可用性和性能稳定性上实现多项创新。其核心设计目标包括：支持动态水平扩展以应对数据爆炸增长，通过分片（Tablet）机制实现负载均衡；

最近偶然发现百度的同学 00k ，发布了百度万亿级数据库tera。从介绍可以看出该系统已成为百度spider 3.0和网页数据库的核心模块，管理节点过万，数据存储量级达到pb级。虽然该系统开源较晚，但相比于同类开源产品，如hbase等，性能、可靠性和稳定性应该有非常大的提升。从公布资料看，t...

在分布式数据库领域，开发者常常面临三大痛点：**接口复杂难用**、**性能调优困难**、**分布式事务处理繁琐**。Tera作为百度开源的互联网级分布式数据库，其SDK（Software Development Kit，软件开发工具包）通过高度封装的API和灵活的配置选项，为这些问题提供了一站式解决方案。本文将系统讲解Tera SDK的核心功能，从环境搭建到高级特性，帮助开发者在7天内从入门到精通...

近期百度将支撑核心搜索引擎的基础架构平台逐渐开源，包括： 1. 百度文件系统BFS（https://github.com/baidu/bfs）一个支持跨集群、跨地域部署的实时分布式文件系统。 2. 分布式数据库Tera（https://github.com/baidu/tera）存储万亿量级超链、网页的结构化数据库。 3. 集群操作系统Galaxy（https://github.co...

当百度搜索引擎每天需要处理**万亿级超链数据**时，传统MapReduce批量处理架构暴露出致命缺陷：链接从发现到收录的延迟长达24小时，严重影响时效性。2010年代初，Tera分布式存储系统的诞生彻底改变了这一局面——通过流式增量处理替代全量计算，将数据流转周期压缩至毫秒级。本文将深入剖析这套支撑百度新一代搜索引擎的核心存储系统，揭示其如何在5000台集群规模下实现单机30000 QPS随机读写...

7,394

社区成员

6,741

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章