百度开源数据库tera问题

Vist_1 2018-06-21 07:18:05

求百度开源数据库tera中的compact流程，或者哪位大神有tera_understanding.md这个文档，在github上找不到

...全文

128 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

一个开源的Bigtable C 实现：百度万亿量级分布式数据库Tera

Tera 是一个高性能、可伸缩的数据库系统，被设计用来管理搜索引擎万亿量级的超链与网页信息。为实现数据的实时分析与高效访问，我们使用按行键、列名和时间戳全局排序的三维数据模型组织数据，使用多级Cache系统，充分利用新一代服务器硬件大内存、SSD盘和万兆网卡的性能优势，做到模型灵活的同时，实现了高吞吐与水平扩展。特性全局有序热点自动分片数据强一致多版本,自动垃圾收集按列存储,支持内存表动态schema支持表格快照高效随机读写数据模型Tera使用了bigtable的数据模型，可以将一张表格理解为这样一种数据结构：map > 其中RowKey、ColumnFamily、Qualifier和Value是字符串，Timestamp是一个64位整形。ColumnFamliy需要建表时指定，是访问控制、版本保留等策略的基本单位。系统架构系统主要由Tabletserver、Master和ClientSDK三部分构成。其中Tabletserver是核心服务器，承载着所有的数据管理与访问；Master是系统的仲裁者，负责表格的创建、schema更新与负载均衡；ClientSDK包含供管理员使用的命令行工具teracli和给用户使用的SDK。表格被按RowKey全局排序，并横向切分成多个Tablet，每个Tablet负责服务RowKey的一个区间，表格又被纵向且分为多个LocalityGroup，一个Tablet的多个Localitygroup在物理上单独存储，可以选择不同的存储介质，以优化访问效率。系统依赖使用分布式文件系统（HDFS、NFS等）持久化数据与元信息使用zookeeper选主与协调使用Sofa-pbrpc实现跨进程通信系统构建参考BUILD使用示例参考wiki反馈与技术支持tera_dev@baidu.com 标签：百度

The Baidu File System 百度的核心数据库Tera将数据持久化在分布式文件系统上，分布式文件系统的性能、可用性和扩展性对整个上层搜索业务的稳定性与效果有着至关重要的影响。现有的分布式文件系统（如HDFS等）无法满足低延迟、高可用、跨地域扩展等方面的需求，所以我们从百度搜索的业务特点出发，开发了自己的分布式文件系统BFS。设计目标高可靠、高可用通过将数据副本进行多机房、多地域冗余，实现单个机房、地域遇到严重灾害的情况下，不丢失数据，不影响整体可用性。将元数据服务分布化，通过多副本实现高可用，通过Raft等一致性协议同操作日志，实现多副本的一致性。高吞吐、低延迟通过高性能的存储引擎，最大化存储介质IO吞吐；通过全局的副本、流量调度，实现热点负载均衡。水平扩展支持跨地域、多数据中心部署，可水平扩展至10万台机器。系统架构系统主要由NameServer、MetaServer、ChunkServer、SDK、bfs_mount和bfs_client等几个模块构成。其中NameServer是中心控制模块，采用集群化部署，负责目录树的管理；ChunkServer是数据节点负责提供文件块的读写服务；SDK以静态库的形式提供了用户使用的API；bfs_mount通过libfuse，将bfs挂载到本地，作为本地文件系统访问；bfs_client是一个二进制的管理工具。标签：百度

百度PaddlePaddle深度学习框架和搜索引擎基础架构.docx

最近偶然发现百度的同学 00k ，发布了百度万亿级数据库tera。从介绍可以看出该系统已成为百度spider 3.0和网页数据库的核心模块，管理节点过万，数据存储量级达到pb级。虽然该系统开源较晚，但相比于同类开源产品，如hbase等，性能、可靠性和稳定性应该有非常大的提升。从公布资料看，t...

7,391

社区成员

6,742

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章