读完Google的三篇论文感想

[清蒸小肥牛]

谷歌成立以后，发表了三篇重要的论文，分别为Google mapreduce，Google Bigtable,Google file system。这三篇论文就为Google奠定了稳重的基础，也是大数据算法的基础。 发布最早的是Google file system论文，讲述的是一个Google GFS文件系统，一个面向大规模数据密集型应用的，可伸缩的分布式文件系统，为大量客户机提供了高性能的服务。GFS 提供了一套类似传统文件系统的 API 接口函数，文件以分层目录的形式组织，用路径名来标识。我们支持常用的操作，如创建新文件、删除文件、打开文件、关闭文件、读和写文件。GFS由一个单独的Master节点，多台Chunk服务器架构构成。Master节点简化了他们的设计，然后再和chunk服务器进行数据读写操作。Google 文件系统展示了一个使用普通硬件支持大规模数据处理的系统的特质，而且GFS 成功的实现了我们对存储的需求，在 Google 内部，无论是作为研究和开发的存储平台，还是作为 生产系统的数据处理平台，都得到了广泛的应用。它是我们持续创新和处理整个 WEB 范围内的难题的一个重要工具。 其次就是Google mapreduce论文，讲述的是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现。这只是一个抽象模型，只要把我们想要的简单运算输入进去即可。MapReduce 框架模型的主要贡献是通过简单的接口来实现自动的并行化和大规模的分布式计算，通过使用 MapReduce 模型接口实现在大量普通的 PC 机上高性能计算。Mapreduce的使用在Google上得到了广泛的应用，比如：大规模机器学习问题，大规模的图形计算等领域。 然后就是Google bigtable论文，讲述的是一个分布式的结构化数据存储系统，它被设计用来处理海量数据。Gigtable由三个主要的组件组成：链接到客户程序中的库，一个master服务器和多个tablet服务器。Master 服务器主要负责以下工作：为 Tablet 服务器Tablets、检测新加入的或者过期失效的 Table服务器、对 Tablet 服务器进行负载均衡、以及对保存在 GFS 上的文件进行垃圾收集。Bigtable的建立在Google上也得到了广泛的使用，比如：web索引，Google Earth，Google Finance等。