关于存储大量数据的问题

yingwenzifu 2013-12-26 10:15:43

1.需要存储一天的数据，按照时间的顺序，从00:00--23:59每两秒对应一个存储数据；
2.一天总共要存储30 * 60 * 24个数据；
3.直接存储这样的方式合适吗，数据量是不是过大（因为随着时间的改变也要每两秒写进一个数值），有没有简洁的存储方法呢？

...全文

138 7 打赏收藏转发到动态举报

写回复

用AI写文章

7 条回复

切换为时间正序

请发表友善的回复…

发表回复

yingwenzifu 2014-03-07

打赏
举报

引用 1 楼 rucypli 的回复:

一个月或者一年一个表

为何我创建的数据库，建表的时候，列数大于30*60时就会建表失败，一个表最多可以有多少列？我用的数据库是QSQLITE

Rotel-刘志东 2013-12-26

打赏
举报

分表处理按照时间分。按月或年分。

yingwenzifu 2013-12-26

打赏
举报

引用 3 楼 JenMinZhang 的回复:

一年一表是可以滴，关键看你怎么使用，基本上查询当年的新表就可以满足要，往年历史数据肯定不是经常查询的对象，如果不想分表，那么建议尝试分区。

分区是什么概念，不是很了解？

知道就是你 2013-12-26

打赏
举报

一年一表是可以滴，关键看你怎么使用，基本上查询当年的新表就可以满足要，往年历史数据肯定不是经常查询的对象，如果不想分表，那么建议尝试分区。

yingwenzifu 2013-12-26

打赏
举报

引用 1 楼 rucypli 的回复:

一个月或者一年一个表

这样的数据量算大吗，处理起来会不会很慢？

rucypli 2013-12-26

打赏
举报

一个月或者一年一个表

知道就是你 2013-12-26

打赏
举报

引用 4 楼 yingwenzifu 的回复:

[quote=引用 3 楼 JenMinZhang 的回复:] 一年一表是可以滴，关键看你怎么使用，基本上查询当年的新表就可以满足要，往年历史数据肯定不是经常查询的对象，如果不想分表，那么建议尝试分区。

分区是什么概念，不是很了解？[/quote] 一、什么是表分区通俗地讲表分区是将一大表，根据条件分割成若干个小表。mysql5.1开始支持数据表分区了。如：某用户表的记录超过了600万条，那么就可以根据入库日期将表分区，也可以根据所在地将表分区。当然也可根据其他的条件分区。二、为什么要对表进行分区为了改善大型表以及具有各种访问模式的表的可伸缩性，可管理性和提高数据库效率。分区的一些优点包括： 1）、与单个磁盘或文件系统分区相比，可以存储更多的数据。 2）、对于那些已经失去保存意义的数据，通常可以通过删除与那些数据有关的分区，很容易地删除那些数据。相反地，在某些情况下，添加新数据的过程又可以通过为那些新数据专门增加一个新的分区，来很方便地实现。通常和分区有关的其他优点包括下面列出的这些。MySQL分区中的这些功能目前还没有实现，但是在我们的优先级列表中，具有高的优先级；我们希望在5.1的生产版本中，能包括这些功能。 3）、一些查询可以得到极大的优化，这主要是借助于满足一个给定WHERE语句的数据可以只保存在一个或多个分区内，这样在查找时就不用查找其他剩余的分区。因为分区可以在创建了分区表后进行修改，所以在第一次配置分区方案时还不曾这么做时，可以重新组织数据，来提高那些常用查询的效率。 4）、涉及到例如SUM()和COUNT()这样聚合函数的查询，可以很容易地进行并行处理。这种查询的一个简单例子如 “SELECT salesperson_id, COUNT (orders) as order_total FROM sales GROUP BY salesperson_id；”。通过“并行”，这意味着该查询可以在每个分区上同时进行，最终结果只需通过总计所有分区得到的结果。 5）、通过跨多个磁盘来分散数据查询，来获得更大的查询吞吐量。详见：http://blog.csdn.net/ymeng_bupt/article/details/6989478