我和谷歌共成长——谈谈谷歌云计算包含的内容

[bit..]

云计算的特点是超大规模、虚拟化、按需分配服务、高可靠性、可动态伸缩、广泛网络访问、节约能源。下面具体介绍一下。

Google云计算的关键技术主要包括：Google文件系统GFS、分布式计算编程模型MapReduce、分布式锁服务Chubby和分布式结构化数据存储系统BigTable等。

1）GFS提供了海量数据存储和访问的能力；

适用于TB级超大文件存储。master节点是文件管理的大脑，负责储和管理文件与物理块的映射，维护metafile，处理临时文件，调度chunk server等。chunk server是真正存储物理文件块。GFS定位于由廉价服务器构成的超大集群，假定单个服务器存储是不可靠地，易失的，因此GFS强调冗余和备份。每份文件块会同时存储于多个不同的chunk server。上层客户请求文件时，首先与master节点交互，获取相关信息，随后client将直接与相应的某个chunk server通信并获取文件。在开源产品中类似实现有HDFS。

2）MapReduce使得海量信息的并行处理变得简单易行

 

使得上层应用软件可以专注于业务逻辑实现，同时利用到分布式并行计算的好处。Map接受和输出属性-值对，使得各节点工作进程可以并行计算它们的属性-值，并输出中间结果；Reduce化简，输入Map处理的中间结果，进行合并运算，最终输出结果文件，返回给上层应用。一个典型案例：编写一个应用对图书馆过去50年的文献，统计最大词频。MapReduce可以做的是，自动分割输入文件集合（任务分解），自动在多节点上克隆运算进程（map进程组和reduce进程组），并分别指派任务，最终映射和化简都完毕后，将处理结果文件返回给原始客户应用 --- 对上层应用很好的屏蔽了并行计算。在开源实现中，对应有Hadoop。

3）Chubby保证了分布式环境下并发操作的同步问题

 

Chubby是一个面向松耦合分布式系统的锁服务，通常用于为一个由大量小型计算机构成的松耦合分布式系统提供高可用的锁服务。一个分布式锁服务的目的是允许他的客户端进程同步彼此的操作，并对当前所处环境的基本状态信息达成一致。

4）BigTable使得海量数据的管理和组织十分方便

BigTable它是非关系型数据库，尽管也沿用如表、行等传统概念。他的实质是key-value记录的集合。多维是说key有多个：行、列以及时间。稀疏是因为不同行的列可以完全不同。表、行可以自动分裂从而扩展。相同属性的列组成列族。相比而言，BigTable适合海量存储和非结构化数据（比如网络流量、多媒体、网页、日志等），操作大多数为读取和查询。而传统关系型数据库则易于实现复杂的结构化DML操作。典型案例是网页的存储：以反向URL为key，网页内容以及引用为列，同时网页更新的时间标记作为另一个键。开源实现类似的有HBase，HyperTable等。