对谷歌三篇论文读后感

[寻找足迹]

通过阅读Google的三篇论文的阅读与分析，我的大数据的分析有了新的认识，它们分别是GFS和MapRedudce和BigTable的代码。大数据的分析是非常复杂，单纯通过传统的数据的分析方法不能全面的对大数据进行全面并且合理的分析，我们需要用具有一定高级的数据结构和算法进行分析。         这三篇论文中的数据结构是将大的数据进行分割，在对每个数据进行分别储存并处理，之后在进行汇总集合并处理，这样就将就将机算计不能一次性不能重复运作的问题，分割成了简单的问题，而计算机对简单或机械重复进行处理效率很高，Google的三篇论文看起来基本结构很简单，但这的确大大提高了数据运行的效率，这也是对机算机工作效率的进一步总结。          GFS储存系统由master和chunksrever组成，通过master对数据的对相关数据的分割与连接，大大提高了各单元chunksrever相互之间的信息传递，而这个数据结构最复杂的是master的管理，所以当master出现，GFS就会出现后备系统进行替换，保证管理层master正常运转，而文件的储存是以linux文件系统自己储存。MapRedudce是对GFS是对分割储存的数据进行利用，MapRedudce由Map和redudce组成，Map的功能类似与master是将GFS的进行映射，即是将数据进行连接并使之还原，在这时GFS储存数据的优势就体现出来了，即cpu可以对多个数据的同时处理，这样只要对cpu进行硬件上的优化和数据处理系统的优化，就可以从多方面对数据处理优化达到更好的效果。         BigTable是对GFS和MapRedudce进一步分解与细化，即以一个GFS为单位，以GFS的数分解方法进行分解将数据进一步单元化，让数据的处理更加简单，易于计算机处理。         通过这三个理论，数据被分成几个数量级，每层由master与Map进行分割与整合，在逐层递进并汇总，通过这样的方式进行同时进行多个的机械的运算，而计算机的机械运算速率是非常快的和准确的，这样就最大限度的利用了计算机的优点，这样也一个复杂的大数据分析变成了一个用计算机处理的简单问题。         另外Google还在研发其他的数据处理方式，来进一部完善全球的计算机程序。在Google思路的引领之下，同样涌现出一些其他项目，比如:Apache Drill ，Apache Giraph等。Google近几年来的大数据对世界都产生了巨大的影响，我相信在未来的大数据界将会是对世界产生巨大影响的的一个领域。