Google三大论文读后感

[王仙鹤]

Google源于美国，方便人们的生活，但我非计算机专业的学生解释可能并非完美，所以我在此大致解释一下。 Google的三大理论分别为File-System，Bigtable，MapReduce。第一个简称GFS，除了客户端以外，一个 GFS 集群还包括一个 Master 节点和若干个 Chunk Server。它们会作为用户级进程运行在普通的 Linux 机器上。在存储文件时，GFS 会把文件切分成若干个拥有固定长度的 Chunk（块）并存储。Master 在创建 Chunk 时会为它们赋予一个唯一的 64 位 Handle（句柄），并把它们移交给 Chunk Server，而 Chunk Server 则以普通文件的形式将每个 Chunk 存储在自己的本地磁盘上。为了确保 Chunk 的可用性，GFS会把每个 Chunk 备份成若干个 Replica 分配到其他 Chunk Server 上。第二个是Google Bigtable，相比于传统的关系型数据库，bigtable 提供了分布式的非结构化的数据存储，但没有提供sql的语义，所以是数据NoSQL的数据库。事实上它还是一个分布式的多层map的存储的结构。在bigtable 用了其他的很多的Google的组件。使用Google分布式文件系统(GFS)存储日志和数据文件。 BigTable还依赖一个高可用的、持久化的分布式锁服务组件，叫做Chubby。用于选举， 一般会运行在共享的集群中，依赖于共享集群的任务调度。第三个Google MapReduce，它所执行的分布式计算会以一组键值对作为输入，输出另一组键值对，用户则通过编写 Map 函数和 Reduce 函数来指定所要进行的计算。由用户编写的Map 函数将被应用在每一个输入键值对上，并输出若干键值对作为中间结果。之后，MapReduce 框架则会将与同一个键 II 相关联的值都传递到同一次 Reduce 函数调用中。 Google源于生活但很多人却不懂，我只能大致解释。