海量数据存储

zhangkui100 2011-03-16 01:23:48

现在需要做一个统计系统，数据量非常大，一天大概会产生1个亿的数据记录，我打算用mysql5.5的分区表，并每一个月分一个大表来处理，不知可有更好的解决方案，

...全文

104 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

超级大笨狼 2011-03-16

打赏
举报

回复

分区表可以，MySQL,MSSQL2008,Orecle我看都可以，都支持。
你的数据是机器产生的吧？

Coolfatman 2011-03-16

打赏
举报

回复

如此多的数据，还是选择oracle吧。

使用partition,还是比较方便的。每月结束时，建立下个月的partition。数据清理时，直接删partition就行了。

本微软面试100题系列，共计11篇文章，300多道面试题，截取本blog索引性文章：程序员面试、算法研究、编程艺术、红黑树、数据挖掘5大系列集锦：http://blog.csdn.net/v_july_v/article/details/6543438，中的第一部分编辑而成，涵盖了数据结构、算法、海量数据处理等3大主题。闲不多说，眼下九月正是校招，各种笔试，面试进行火热的时节，希望此份微软面试100题系列的PDF文档能给正在找工作的朋友助一臂之力！如果读者发现了本系列任何一题的答案有问题，错误，bug，恳请随时不吝指正，你可以直接评论在原文之下，也可以通过私信联系我。祝诸君均能找到令自己满意的offer或工作，谢谢。July、二零一二年九月二十日

本文基于Hadoop技术，探讨了如何设计和实现基于区块链的海量数据存储系统。随着区块链技术的快速发展和广泛应用，大量的数据需要被存储和管理。然而，由于区块链的去中心化和不可篡改性质，传统的数据库技术在处理海量数据时遇到了困难。因此，利用Hadoop这一成熟的分布式存储和处理框架，本文提出了一种可扩展的区块链海量数据存储方案。首先，本文介绍了区块链和Hadoop技术的基本概念和原理，分析了它们在存储海量数据时存在的问题。然后，针对这些问题，提出了一种基于Hadoop的区块链数据存储架构。

海量数据存储难点：数据量过大，数据中什么情况都可能存在；软硬件要求高，系统资源占用率高；要求很高的处理方法和技巧。海量数据存储处理经验: 一、选用优秀的数据库工具现在的数据库工具厂家比较多，对海量数据的处理对所使用的数据库工具要求比较高，一般使用Oracle或者DB2，微软公司最近发布的SQL Server 2005性能也不错。另外在BI领域：数据库，数据仓库，多维数据库，数据挖

关键词：分库分表，路由机制，跨区查询，MySQL数据变更，分表数据查询管理器与线程技术的结合，Cache前面已经讲过Mysql实现海量海量数据存储查询时，主要有几个关键点，分表，分库，集群，M-S，负载均衡。其中分库分表是很重要的一点。分库是如何将海量的Mysql数据放到不同的服务器中，分表则是在分库基础上对数据现进行逻辑上的划分。数据划分可有多种方式，找到一个主键后，可以按号段分，也可以Has...

海量数据存储面临的问题

高性能WEB开发

25,980

社区成员

4,366

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章