信息数据的储存

[外~太空]

随着信息技术的飞速发展，我们已置身于大数据的海洋之中。在生活中，我们无时不刻不在接收到大数据信息。由此，信息的储存变得尤为重要，储存的安全性，信息读取的便捷性越来越收到人们的重视。Google File System(GFS) ，Google Bigtable 应运而生。 到目前为止，GFS最大的一个集群利用数千台计算机的数千个硬盘，提供了数百TB的储存空间，同时为数百个客户机服务。GFS系统的设计不仅考虑了性能、可伸缩性、可靠性及可用性还兼顾了对当下应用的负载情况和技术环境的观察。GFS文件储存系统与传统文件存储系统主要有四个方面的优势:1、组件失效被认为是常态事件，而不是意外事件。2、以通常的标准衡量，文件非常巨大。3、绝大部分的修改是采用在文件尾部追加数据，而不是采用覆盖原有数据的方式。4、应用程序和文件系统API的协同设计提高了整个系统的灵活性。同时GFS系统的容错率和诊断效率也十分可观，当组件失效不可避免地发生时，用GFS自带工具诊断系统故障。正是由于GFS的高性能，Google已经针对不同的应用部署了多套GFS集群，最大的一个集群拥有超过1000个存储节点，超过300TB的硬盘空间，被不同机器上的数百个客户端连续不断的访问。 在数据存储之后，就是数据的处理，Bigtable提供了一个灵活的高性能的解决方案，适用性广、高性能、可扩展和高可用性。并通过缓存提高操作的性能。在很多方面，Bigtable和数据库很类似，它使用了很多数据库的实现策略，并行数据库和内存数据库已具备可扩展性和高性能，但Bigtable为客户提供了简单的数据模型。目前Bigtable已经在超过60个Google的产品和项目上得到了应用，这些产品对Bigtable提出了迥异的需求，有的需要高吞吐量的批处理，有的需要及时的响应,Bigtable无疑满足了这些要求。同时,MapReduce也被运用于数据处理，MapReduce是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现。MapReduce解决了传统计算方法中的计算困难的问题。利用一个抽象模型解决了复杂的计算。MapReduce封装了并行处理、容错处理、数据本地化优化、负载均衡等等技术难点的细节，这MapReduce 库易于使用。即便对于完全没有并行或者分布式系统开发经验的程序员而言；大量不同类型的问题都可以通过MapReduce简单解决。 信息数据的存储和处理技术已经有了很大的发展，但依然还存在着许多方面的难题等待着去解决。任然有着很大的进步空间。