大数据量表的一些优化策略-CSDN论坛

CSDN论坛 > MS-SQL Server > 疑难问题

大数据量表的一些优化策略 [问题点数：100分]

⋅大数据量表的一些优化策略 ⋅word解析的一些问题... ⋅怎么将word中的图片进行输出... 更多帖子 关注私信空间博客 Tll_W 本版专家分：0 结帖率 78.57%: 大概情况我举个例子，现在有很多大楼，大楼有5到10层吧，每层中每天定时（1小时间隔）会产生一些数据，比如温度等参数。针对此，我设计了一个表，字段包括：
ID：随机生成的字符，关键字
LayerID：楼层的编号
Time：时间
测量数据：温度等类似数据
现在的问题是：如果按照1000个楼，每个楼大约有10层，这样一年的数据大约是1000*10*24*365=7000W左右的数据量，这么多数据，入库查询肯定都是比较慢的，这种情况这个表怎么优化？
我考虑了几个方面，建立索引和分表等，还有其他方面的也可以说说，分不够可再加。

0 2014-09-01 11:56:37

回复数 25 只看楼主引用举报楼主

⋅yum 安装的MySQL是开机自动启动的，这个自动启动的是在哪里配置的? ⋅sqlserver 数据库的排序规则和操作系统的语言环境是什么关系？ ⋅CSDN真的让人无语了 更多帖子 关注私信空间博客 专注or全面 本版专家分：9289: 这个恐怕还是看你具体的设计以及具体的查询吧，单单说优化，范围太大了
单表7000W也不算多吧，
前段时间泄露出来的2000W开房信息，我虚拟机才1G内存1颗CPU，根据查询建了几个索引，也不觉得慢

0 2014-09-01 12:47:09

只看TA 引用举报 #1 得分 0

⋅SQL Server 2012开发实践，入门级，有兴趣的参考 ⋅关于新手对SQL SERVER入门书籍的看法 ⋅再提Delphi 2010的BUG，关于TADOQuery之ftMemo字符限制 更多帖子 关注私信空间博客 Q315054403 本版专家分：8587: 这个不分数问题，一个设计、开发方案，不是三五句能说清楚的

0 2014-09-01 13:06:22

只看TA 引用举报 #2 得分 0

⋅-----------------------------恭喜SQL SERVER的各位MVP--------------------- ⋅---------------对面的女孩看过来------------------------ ⋅------------------恭喜SQL版再诞生一位钻石DBA_Huangzj------------------------------ 更多帖子 关注私信空间博客 --小F-- 本版专家分：313931 版主 名人 2012年荣获名人称号 进士 2011年总版技术专家分年内排行榜第四 2010年总版技术专家分年内排行榜第九 2009年总版技术专家分年内排行榜第八 金牌 2011年10月总版技术专家分月排行榜第一 银牌 2011年12月总版技术专家分月排行榜第二 2011年9月总版技术专家分月排行榜第二 2009年11月总版技术专家分月排行榜第二: 你这个具体的方案怎么样？当然包含索引设计和本身的数据库设计这些都是很重要的。
如果是查询语句比较慢，然后设计方面又没有多大问题的话，才去考虑索引这些。

通过事件探查器和查看执行计划这些可以来进行调优。内容不是一点半点。

0 2014-09-01 13:19:17

只看TA 引用举报 #3 得分 0

⋅大数据量表的一些优化策略 ⋅word解析的一些问题... ⋅怎么将word中的图片进行输出... 更多帖子 关注私信空间博客 Tll_W 本版专家分：0: 引用 1 楼 x_wy46 的回复:
这个恐怕还是看你具体的设计以及具体的查询吧，单单说优化，范围太大了
单表7000W也不算多吧，
前段时间泄露出来的2000W开房信息，我虚拟机才1G内存1颗CPU，根据查询建了几个索引，也不觉得慢

我就说一下问题吧，查询的时候以where layerid='***' and time > '**8' and time <'***'为主，就是我先要找某层的（每个楼都有自己独立编号的层），某段时间的数据出来，我想问下，建立索引的话我这个怎么建立?目前我是layerid建立的聚集索引，time是非聚集索引？有什么不妥吗？

0 2014-09-01 13:22:29

只看TA 引用举报 #4 得分 0

⋅大数据量表的一些优化策略 ⋅word解析的一些问题... ⋅怎么将word中的图片进行输出... 更多帖子 关注私信空间博客 Tll_W 本版专家分：0: 引用 3 楼 fredrickhu 的回复:
你这个具体的方案怎么样？当然包含索引设计和本身的数据库设计这些都是很重要的。
如果是查询语句比较慢，然后设计方面又没有多大问题的话，才去考虑索引这些。

通过事件探查器和查看执行计划这些可以来进行调优。内容不是一点半点。

现在就最基本的要求，数据入库的时候不至于太慢，查询是以层号和时间共同来筛选的。
目前服务器16G内存，我设置了最高2G内存使用。layerid建立的聚集索引，time是非聚集索引，不知道有什么地方有不对的？现在入库的时候偶尔会超时，查询速度有些慢。

0 2014-09-01 13:52:42

只看TA 引用举报 #5 得分 0

⋅用户 namedajipai 在问答区恶意刷贴 ⋅服务器时间不准！ ⋅[BUG报告](IE8)论坛页头多出多余显示 更多帖子 关注私信空间博客 Tiger_Zhao 本版专家分：45897 红花 2017年3月 VB大版内专家分月排行榜第一 2016年12月 VB大版内专家分月排行榜第一 2016年5月 VB大版内专家分月排行榜第一 2016年1月 VB大版内专家分月排行榜第一 2015年12月 VB大版内专家分月排行榜第一 2015年11月 VB大版内专家分月排行榜第一 2015年10月 MS-SQL Server大版内专家分月排行榜第一 2015年9月 VB大版内专家分月排行榜第一 2015年9月 MS-SQL Server大版内专家分月排行榜第一 2015年8月 VB大版内专家分月排行榜第一 2015年8月 MS-SQL Server大版内专家分月排行榜第一 2015年7月 VB大版内专家分月排行榜第一 2015年7月 MS-SQL Server大版内专家分月排行榜第一 2015年6月 VB大版内专家分月排行榜第一 2015年5月 VB大版内专家分月排行榜第一 2015年4月 VB大版内专家分月排行榜第一 2015年3月 VB大版内专家分月排行榜第一 2015年2月 VB大版内专家分月排行榜第一 2014年11月 VB大版内专家分月排行榜第一 2014年9月 VB大版内专家分月排行榜第一 2014年8月 VB大版内专家分月排行榜第一 2014年7月 VB大版内专家分月排行榜第一 2013年7月 VB大版内专家分月排行榜第一 2013年4月 VB大版内专家分月排行榜第一 2010年2月 VB大版内专家分月排行榜第一 2010年1月 VB大版内专家分月排行榜第一 2009年11月 VB大版内专家分月排行榜第一 2009年9月 VB大版内专家分月排行榜第一 2009年8月 VB大版内专家分月排行榜第一 2009年7月 VB大版内专家分月排行榜第一 2009年4月 VB大版内专家分月排行榜第一 2009年3月 VB大版内专家分月排行榜第一 2009年2月 VB大版内专家分月排行榜第一 2009年1月 VB大版内专家分月排行榜第一 2008年6月 VB大版内专家分月排行榜第一 2007年12月 VB大版内专家分月排行榜第一 2007年10月 VB大版内专家分月排行榜第一 2007年9月 VB大版内专家分月排行榜第一 黄花 2016年11月 VB大版内专家分月排行榜第二 2016年1月 MS-SQL Server大版内专家分月排行榜第二 2015年12月 MS-SQL Server大版内专家分月排行榜第二 2015年11月 MS-SQL Server大版内专家分月排行榜第二 2015年5月 MS-SQL Server大版内专家分月排行榜第二 2015年4月 MS-SQL Server大版内专家分月排行榜第二 2015年1月 VB大版内专家分月排行榜第二 2015年1月 MS-SQL Server大版内专家分月排行榜第二 2014年12月 VB大版内专家分月排行榜第二 2014年11月 MS-SQL Server大版内专家分月排行榜第二 2014年9月 MS-SQL Server大版内专家分月排行榜第二 2013年8月 VB大版内专家分月排行榜第二 2013年6月 VB大版内专家分月排行榜第二 2013年5月 VB大版内专家分月排行榜第二 2010年4月 VB大版内专家分月排行榜第二 2010年3月 VB大版内专家分月排行榜第二 2008年12月 VB大版内专家分月排行榜第二 2008年8月 VB大版内专家分月排行榜第二 2008年7月 VB大版内专家分月排行榜第二 2007年11月 VB大版内专家分月排行榜第二 蓝花 2017年1月 MS-SQL Server大版内专家分月排行榜第三 2015年6月 MS-SQL Server大版内专家分月排行榜第三 2015年3月 MS-SQL Server大版内专家分月排行榜第三 2015年2月 MS-SQL Server大版内专家分月排行榜第三 2014年12月 MS-SQL Server大版内专家分月排行榜第三 2014年10月 VB大版内专家分月排行榜第三 2014年10月 MS-SQL Server大版内专家分月排行榜第三 2014年8月 MS-SQL Server大版内专家分月排行榜第三 2013年9月 VB大版内专家分月排行榜第三 2013年3月 VB大版内专家分月排行榜第三 2012年5月 VB大版内专家分月排行榜第三 2012年4月 VB大版内专家分月排行榜第三 2010年10月 VB大版内专家分月排行榜第三 2010年8月 VB大版内专家分月排行榜第三 2010年7月 VB大版内专家分月排行榜第三 2009年5月 VB大版内专家分月排行榜第三 2008年9月 VB大版内专家分月排行榜第三 2008年4月 VB大版内专家分月排行榜第三 2008年2月 VB大版内专家分月排行榜第三: A)给的内存太少，不要吝啬，数据库单独一台服务器，内存不限制。
B)要(layerid,time)一起建聚集索引。
如果没有单独按time查询的需求，那么单个的(time)索引毫无用处。

0 2014-09-01 14:01:06

只看TA 引用举报 #6 得分 0

⋅SQL 2000 配置邮件服务器 ⋅数据库表数据和EXCEL之间的转换 ⋅SQL 2000 作业 DTS 更多帖子 关注私信空间博客 xiaodongni 本版专家分：5625 黄花 2014年10月 MS-SQL Server大版内专家分月排行榜第二: 这个可以在LAYERID,TIME 上建联合聚集索引。应该TIME 在前面。这样产生的碎片较少。个人看法啊

0 2014-09-01 14:08:13

只看TA 引用举报 #7 得分 0

⋅大数据量表的一些优化策略 ⋅word解析的一些问题... ⋅怎么将word中的图片进行输出... 更多帖子 关注私信空间博客 Tll_W 本版专家分：0: 引用 6 楼 Tiger_Zhao 的回复:
A)给的内存太少，不要吝啬，数据库单独一台服务器，内存不限制。
B)要(layerid,time)一起建聚集索引。
如果没有单独按time查询的需求，那么单个的(time)索引毫无用处。

大概明白了些，那么如果再多加一个字段，比如楼号，其实楼号跟层号是有关联关系的，这个时候如果我要查某个楼一段时间内的数据，是不是也得建立一个联合索引？

0 2014-09-01 14:34:53

只看TA 引用举报 #8 得分 0

Tll_W 本版专家分：0: 我联系方式是476492162，情况大概就是索引方面，只要说明白就行了。完事就结贴

0 2014-09-01 14:57:38

只看TA 引用举报 #9 得分 0

⋅面试中的线程问题 ⋅zookeeper的分享 ⋅新年第一篇博文请大家捧场 更多帖子 关注私信空间博客 KeepSayingNo 本版专家分：6649: 1、针对楼分表进行存储数据
2、每个楼的表中建立针对楼层、监控点ID和时间的聚族索引

这样基本能满足你的需求，如果后续遇到查询效率瓶颈，欢迎再咨询

0 2014-09-01 15:10:43

只看TA 引用举报 #10 得分 0

⋅大数据量表的一些优化策略 ⋅word解析的一些问题... ⋅怎么将word中的图片进行输出... 更多帖子 关注私信空间博客 Tll_W 本版专家分：0: 引用 10 楼 dotnetstudio 的回复:
1、针对楼分表进行存储数据
2、每个楼的表中建立针对楼层、监控点ID和时间的聚族索引

这样基本能满足你的需求，如果后续遇到查询效率瓶颈，欢迎再咨询

忘记了，这个表里也有楼号，后续查询偶尔会查询楼在某段时间的所有数据，这种情况咋办?还需要建立索引吗？

0 2014-09-02 11:07:31

只看TA 引用举报 #11 得分 0

⋅用户 namedajipai 在问答区恶意刷贴 ⋅服务器时间不准！ ⋅[BUG报告](IE8)论坛页头多出多余显示 更多帖子 关注私信空间博客 Tiger_Zhao 本版专家分：45897 红花 2017年3月 VB大版内专家分月排行榜第一 2016年12月 VB大版内专家分月排行榜第一 2016年5月 VB大版内专家分月排行榜第一 2016年1月 VB大版内专家分月排行榜第一 2015年12月 VB大版内专家分月排行榜第一 2015年11月 VB大版内专家分月排行榜第一 2015年10月 MS-SQL Server大版内专家分月排行榜第一 2015年9月 VB大版内专家分月排行榜第一 2015年9月 MS-SQL Server大版内专家分月排行榜第一 2015年8月 VB大版内专家分月排行榜第一 2015年8月 MS-SQL Server大版内专家分月排行榜第一 2015年7月 VB大版内专家分月排行榜第一 2015年7月 MS-SQL Server大版内专家分月排行榜第一 2015年6月 VB大版内专家分月排行榜第一 2015年5月 VB大版内专家分月排行榜第一 2015年4月 VB大版内专家分月排行榜第一 2015年3月 VB大版内专家分月排行榜第一 2015年2月 VB大版内专家分月排行榜第一 2014年11月 VB大版内专家分月排行榜第一 2014年9月 VB大版内专家分月排行榜第一 2014年8月 VB大版内专家分月排行榜第一 2014年7月 VB大版内专家分月排行榜第一 2013年7月 VB大版内专家分月排行榜第一 2013年4月 VB大版内专家分月排行榜第一 2010年2月 VB大版内专家分月排行榜第一 2010年1月 VB大版内专家分月排行榜第一 2009年11月 VB大版内专家分月排行榜第一 2009年9月 VB大版内专家分月排行榜第一 2009年8月 VB大版内专家分月排行榜第一 2009年7月 VB大版内专家分月排行榜第一 2009年4月 VB大版内专家分月排行榜第一 2009年3月 VB大版内专家分月排行榜第一 2009年2月 VB大版内专家分月排行榜第一 2009年1月 VB大版内专家分月排行榜第一 2008年6月 VB大版内专家分月排行榜第一 2007年12月 VB大版内专家分月排行榜第一 2007年10月 VB大版内专家分月排行榜第一 2007年9月 VB大版内专家分月排行榜第一 黄花 2016年11月 VB大版内专家分月排行榜第二 2016年1月 MS-SQL Server大版内专家分月排行榜第二 2015年12月 MS-SQL Server大版内专家分月排行榜第二 2015年11月 MS-SQL Server大版内专家分月排行榜第二 2015年5月 MS-SQL Server大版内专家分月排行榜第二 2015年4月 MS-SQL Server大版内专家分月排行榜第二 2015年1月 VB大版内专家分月排行榜第二 2015年1月 MS-SQL Server大版内专家分月排行榜第二 2014年12月 VB大版内专家分月排行榜第二 2014年11月 MS-SQL Server大版内专家分月排行榜第二 2014年9月 MS-SQL Server大版内专家分月排行榜第二 2013年8月 VB大版内专家分月排行榜第二 2013年6月 VB大版内专家分月排行榜第二 2013年5月 VB大版内专家分月排行榜第二 2010年4月 VB大版内专家分月排行榜第二 2010年3月 VB大版内专家分月排行榜第二 2008年12月 VB大版内专家分月排行榜第二 2008年8月 VB大版内专家分月排行榜第二 2008年7月 VB大版内专家分月排行榜第二 2007年11月 VB大版内专家分月排行榜第二 蓝花 2017年1月 MS-SQL Server大版内专家分月排行榜第三 2015年6月 MS-SQL Server大版内专家分月排行榜第三 2015年3月 MS-SQL Server大版内专家分月排行榜第三 2015年2月 MS-SQL Server大版内专家分月排行榜第三 2014年12月 MS-SQL Server大版内专家分月排行榜第三 2014年10月 VB大版内专家分月排行榜第三 2014年10月 MS-SQL Server大版内专家分月排行榜第三 2014年8月 MS-SQL Server大版内专家分月排行榜第三 2013年9月 VB大版内专家分月排行榜第三 2013年3月 VB大版内专家分月排行榜第三 2012年5月 VB大版内专家分月排行榜第三 2012年4月 VB大版内专家分月排行榜第三 2010年10月 VB大版内专家分月排行榜第三 2010年8月 VB大版内专家分月排行榜第三 2010年7月 VB大版内专家分月排行榜第三 2009年5月 VB大版内专家分月排行榜第三 2008年9月 VB大版内专家分月排行榜第三 2008年4月 VB大版内专家分月排行榜第三 2008年2月 VB大版内专家分月排行榜第三: 引用 8 楼 Tll_W 的回复:
Quote: 引用 6 楼 Tiger_Zhao 的回复:

A)给的内存太少，不要吝啬，数据库单独一台服务器，内存不限制。
B)要(layerid,time)一起建聚集索引。
如果没有单独按time查询的需求，那么单个的(time)索引毫无用处。

大概明白了些，那么如果再多加一个字段，比如楼号，其实楼号跟层号是有关联关系的，这个时候如果我要查某个楼一段时间内的数据，是不是也得建立一个联合索引？

要再建一个索引。
只有查询条件和索引匹配才能充分利用索引。

0 2014-09-02 11:25:22

只看TA 引用举报 #12 得分 0

⋅面试中的线程问题 ⋅zookeeper的分享 ⋅新年第一篇博文请大家捧场 更多帖子 关注私信空间博客 KeepSayingNo 本版专家分：6649: 引用 11 楼 Tll_W 的回复:
Quote: 引用 10 楼 dotnetstudio 的回复:

1、针对楼分表进行存储数据
2、每个楼的表中建立针对楼层、监控点ID和时间的聚族索引

这样基本能满足你的需求，如果后续遇到查询效率瓶颈，欢迎再咨询

忘记了，这个表里也有楼号，后续查询偶尔会查询楼在某段时间的所有数据，这种情况咋办?还需要建立索引吗？

分表后楼号已经在表名里面了，一个表中就是某一栋楼的所有的记录，索引不需要建在楼号上

0 2014-09-02 14:16:44

只看TA 引用举报 #13 得分 0

⋅散点分吧 ⋅数据库发布与订阅，提示【进程无法使用端口21连接到ftp站点】的问题 ⋅关于一个导出到Excel的问题(用邹健大哥导出到Excel存储过程遇到的问题) 更多帖子 关注私信空间博客 sywcf 本版专家分：219: 第一：layerid，聚集索引是对的。
第二：time字段如果要加索引，那得看这个字段是精确到天的，还是到秒的。如果只是到天的。加索引可以;精确到秒的，加索引，不但起不到加快的效果，反而会变慢。
第三：楼主的time条件，是需要到天还是到小时？如果要到小时，那么最好，把time字段拆开，一个只是短日期，另一个存小时，不会再到秒了吧？这样，在日期，小时字段上加索引，才有意义。

0 2014-09-02 15:17:30

只看TA 引用举报 #14 得分 0

⋅大数据量表的一些优化策略 ⋅word解析的一些问题... ⋅怎么将word中的图片进行输出... 更多帖子 关注私信空间博客 Tll_W 本版专家分：0: 引用 13 楼 dotnetstudio 的回复:
Quote: 引用 11 楼 Tll_W 的回复:

Quote: 引用 10 楼 dotnetstudio 的回复:

1、针对楼分表进行存储数据
2、每个楼的表中建立针对楼层、监控点ID和时间的聚族索引

这样基本能满足你的需求，如果后续遇到查询效率瓶颈，欢迎再咨询

忘记了，这个表里也有楼号，后续查询偶尔会查询楼在某段时间的所有数据，这种情况咋办?还需要建立索引吗？

分表后楼号已经在表名里面了，一个表中就是某一栋楼的所有的记录，索引不需要建在楼号上

分表是怎么分？通过代码还是通过数据库的设置？

0 2014-09-30 09:03:11

只看TA 引用举报 #15 得分 0

⋅用户 namedajipai 在问答区恶意刷贴 ⋅服务器时间不准！ ⋅[BUG报告](IE8)论坛页头多出多余显示 更多帖子 关注私信空间博客 Tiger_Zhao 本版专家分：45897 红花 2017年3月 VB大版内专家分月排行榜第一 2016年12月 VB大版内专家分月排行榜第一 2016年5月 VB大版内专家分月排行榜第一 2016年1月 VB大版内专家分月排行榜第一 2015年12月 VB大版内专家分月排行榜第一 2015年11月 VB大版内专家分月排行榜第一 2015年10月 MS-SQL Server大版内专家分月排行榜第一 2015年9月 VB大版内专家分月排行榜第一 2015年9月 MS-SQL Server大版内专家分月排行榜第一 2015年8月 VB大版内专家分月排行榜第一 2015年8月 MS-SQL Server大版内专家分月排行榜第一 2015年7月 VB大版内专家分月排行榜第一 2015年7月 MS-SQL Server大版内专家分月排行榜第一 2015年6月 VB大版内专家分月排行榜第一 2015年5月 VB大版内专家分月排行榜第一 2015年4月 VB大版内专家分月排行榜第一 2015年3月 VB大版内专家分月排行榜第一 2015年2月 VB大版内专家分月排行榜第一 2014年11月 VB大版内专家分月排行榜第一 2014年9月 VB大版内专家分月排行榜第一 2014年8月 VB大版内专家分月排行榜第一 2014年7月 VB大版内专家分月排行榜第一 2013年7月 VB大版内专家分月排行榜第一 2013年4月 VB大版内专家分月排行榜第一 2010年2月 VB大版内专家分月排行榜第一 2010年1月 VB大版内专家分月排行榜第一 2009年11月 VB大版内专家分月排行榜第一 2009年9月 VB大版内专家分月排行榜第一 2009年8月 VB大版内专家分月排行榜第一 2009年7月 VB大版内专家分月排行榜第一 2009年4月 VB大版内专家分月排行榜第一 2009年3月 VB大版内专家分月排行榜第一 2009年2月 VB大版内专家分月排行榜第一 2009年1月 VB大版内专家分月排行榜第一 2008年6月 VB大版内专家分月排行榜第一 2007年12月 VB大版内专家分月排行榜第一 2007年10月 VB大版内专家分月排行榜第一 2007年9月 VB大版内专家分月排行榜第一 黄花 2016年11月 VB大版内专家分月排行榜第二 2016年1月 MS-SQL Server大版内专家分月排行榜第二 2015年12月 MS-SQL Server大版内专家分月排行榜第二 2015年11月 MS-SQL Server大版内专家分月排行榜第二 2015年5月 MS-SQL Server大版内专家分月排行榜第二 2015年4月 MS-SQL Server大版内专家分月排行榜第二 2015年1月 VB大版内专家分月排行榜第二 2015年1月 MS-SQL Server大版内专家分月排行榜第二 2014年12月 VB大版内专家分月排行榜第二 2014年11月 MS-SQL Server大版内专家分月排行榜第二 2014年9月 MS-SQL Server大版内专家分月排行榜第二 2013年8月 VB大版内专家分月排行榜第二 2013年6月 VB大版内专家分月排行榜第二 2013年5月 VB大版内专家分月排行榜第二 2010年4月 VB大版内专家分月排行榜第二 2010年3月 VB大版内专家分月排行榜第二 2008年12月 VB大版内专家分月排行榜第二 2008年8月 VB大版内专家分月排行榜第二 2008年7月 VB大版内专家分月排行榜第二 2007年11月 VB大版内专家分月排行榜第二 蓝花 2017年1月 MS-SQL Server大版内专家分月排行榜第三 2015年6月 MS-SQL Server大版内专家分月排行榜第三 2015年3月 MS-SQL Server大版内专家分月排行榜第三 2015年2月 MS-SQL Server大版内专家分月排行榜第三 2014年12月 MS-SQL Server大版内专家分月排行榜第三 2014年10月 VB大版内专家分月排行榜第三 2014年10月 MS-SQL Server大版内专家分月排行榜第三 2014年8月 MS-SQL Server大版内专家分月排行榜第三 2013年9月 VB大版内专家分月排行榜第三 2013年3月 VB大版内专家分月排行榜第三 2012年5月 VB大版内专家分月排行榜第三 2012年4月 VB大版内专家分月排行榜第三 2010年10月 VB大版内专家分月排行榜第三 2010年8月 VB大版内专家分月排行榜第三 2010年7月 VB大版内专家分月排行榜第三 2009年5月 VB大版内专家分月排行榜第三 2008年9月 VB大版内专家分月排行榜第三 2008年4月 VB大版内专家分月排行榜第三 2008年2月 VB大版内专家分月排行榜第三: 又是非常非常非常老旧的文件型数据库，一个表（文件）数据太多不得不分开。
你所有的楼都是活跃的，分表没有意义。

0 2014-09-30 09:46:47

只看TA 引用举报 #16 得分 0

⋅大数据量表的一些优化策略 ⋅word解析的一些问题... ⋅怎么将word中的图片进行输出... 更多帖子 关注私信空间博客 Tll_W 本版专家分：0: 引用 16 楼 Tiger_Zhao 的回复:
又是非常非常非常老旧的文件型数据库，一个表（文件）数据太多不得不分开。
你所有的楼都是活跃的，分表没有意义。

对于我这种情况，没有方法进行处理了吗？大部分情况下比如昨天的数据入库了，后面应该再次入库的可能性极小了，只是读取出来用而已。

0 2014-09-30 10:05:44

只看TA 引用举报 #17 得分 0

⋅用户 namedajipai 在问答区恶意刷贴 ⋅服务器时间不准！ ⋅[BUG报告](IE8)论坛页头多出多余显示 更多帖子 关注私信空间博客 Tiger_Zhao 本版专家分：45897 红花 2017年3月 VB大版内专家分月排行榜第一 2016年12月 VB大版内专家分月排行榜第一 2016年5月 VB大版内专家分月排行榜第一 2016年1月 VB大版内专家分月排行榜第一 2015年12月 VB大版内专家分月排行榜第一 2015年11月 VB大版内专家分月排行榜第一 2015年10月 MS-SQL Server大版内专家分月排行榜第一 2015年9月 VB大版内专家分月排行榜第一 2015年9月 MS-SQL Server大版内专家分月排行榜第一 2015年8月 VB大版内专家分月排行榜第一 2015年8月 MS-SQL Server大版内专家分月排行榜第一 2015年7月 VB大版内专家分月排行榜第一 2015年7月 MS-SQL Server大版内专家分月排行榜第一 2015年6月 VB大版内专家分月排行榜第一 2015年5月 VB大版内专家分月排行榜第一 2015年4月 VB大版内专家分月排行榜第一 2015年3月 VB大版内专家分月排行榜第一 2015年2月 VB大版内专家分月排行榜第一 2014年11月 VB大版内专家分月排行榜第一 2014年9月 VB大版内专家分月排行榜第一 2014年8月 VB大版内专家分月排行榜第一 2014年7月 VB大版内专家分月排行榜第一 2013年7月 VB大版内专家分月排行榜第一 2013年4月 VB大版内专家分月排行榜第一 2010年2月 VB大版内专家分月排行榜第一 2010年1月 VB大版内专家分月排行榜第一 2009年11月 VB大版内专家分月排行榜第一 2009年9月 VB大版内专家分月排行榜第一 2009年8月 VB大版内专家分月排行榜第一 2009年7月 VB大版内专家分月排行榜第一 2009年4月 VB大版内专家分月排行榜第一 2009年3月 VB大版内专家分月排行榜第一 2009年2月 VB大版内专家分月排行榜第一 2009年1月 VB大版内专家分月排行榜第一 2008年6月 VB大版内专家分月排行榜第一 2007年12月 VB大版内专家分月排行榜第一 2007年10月 VB大版内专家分月排行榜第一 2007年9月 VB大版内专家分月排行榜第一 黄花 2016年11月 VB大版内专家分月排行榜第二 2016年1月 MS-SQL Server大版内专家分月排行榜第二 2015年12月 MS-SQL Server大版内专家分月排行榜第二 2015年11月 MS-SQL Server大版内专家分月排行榜第二 2015年5月 MS-SQL Server大版内专家分月排行榜第二 2015年4月 MS-SQL Server大版内专家分月排行榜第二 2015年1月 VB大版内专家分月排行榜第二 2015年1月 MS-SQL Server大版内专家分月排行榜第二 2014年12月 VB大版内专家分月排行榜第二 2014年11月 MS-SQL Server大版内专家分月排行榜第二 2014年9月 MS-SQL Server大版内专家分月排行榜第二 2013年8月 VB大版内专家分月排行榜第二 2013年6月 VB大版内专家分月排行榜第二 2013年5月 VB大版内专家分月排行榜第二 2010年4月 VB大版内专家分月排行榜第二 2010年3月 VB大版内专家分月排行榜第二 2008年12月 VB大版内专家分月排行榜第二 2008年8月 VB大版内专家分月排行榜第二 2008年7月 VB大版内专家分月排行榜第二 2007年11月 VB大版内专家分月排行榜第二 蓝花 2017年1月 MS-SQL Server大版内专家分月排行榜第三 2015年6月 MS-SQL Server大版内专家分月排行榜第三 2015年3月 MS-SQL Server大版内专家分月排行榜第三 2015年2月 MS-SQL Server大版内专家分月排行榜第三 2014年12月 MS-SQL Server大版内专家分月排行榜第三 2014年10月 VB大版内专家分月排行榜第三 2014年10月 MS-SQL Server大版内专家分月排行榜第三 2014年8月 MS-SQL Server大版内专家分月排行榜第三 2013年9月 VB大版内专家分月排行榜第三 2013年3月 VB大版内专家分月排行榜第三 2012年5月 VB大版内专家分月排行榜第三 2012年4月 VB大版内专家分月排行榜第三 2010年10月 VB大版内专家分月排行榜第三 2010年8月 VB大版内专家分月排行榜第三 2010年7月 VB大版内专家分月排行榜第三 2009年5月 VB大版内专家分月排行榜第三 2008年9月 VB大版内专家分月排行榜第三 2008年4月 VB大版内专家分月排行榜第三 2008年2月 VB大版内专家分月排行榜第三: 你要处理什么？？？
先把需求搞清楚！
只有按需优化的系统，没有面面俱到的完美系统。

0 2014-09-30 10:12:31

只看TA 引用举报 #18 得分 0

⋅大数据量表的一些优化策略 ⋅word解析的一些问题... ⋅怎么将word中的图片进行输出... 更多帖子 关注私信空间博客 Tll_W 本版专家分：0: 引用 10 楼 dotnetstudio 的回复:
1、针对楼分表进行存储数据
2、每个楼的表中建立针对楼层、监控点ID和时间的聚族索引

这样基本能满足你的需求，如果后续遇到查询效率瓶颈，欢迎再咨询

按照楼分表存储有个问题就是我分区函数用楼号作为分区依据，但是分区方案中我要把所有的楼号都枚举进去吗？

0 2014-09-30 10:28:13

只看TA 引用举报 #19 得分 0

⋅大数据量表的一些优化策略 ⋅word解析的一些问题... ⋅怎么将word中的图片进行输出... 更多帖子 关注私信空间博客 Tll_W 本版专家分：0: 引用 18 楼 Tiger_Zhao 的回复:
你要处理什么？？？
先把需求搞清楚！
只有按需优化的系统，没有面面俱到的完美系统。

我的目标就是这些数据存储和查询速度能满足基本要求，不至于超时就行。数据量很明确，大约200多个楼，按照一年的数据量来算就是200个楼*10层*365天*24小时*6个十分钟 = 7000W条记录
针对此表，给与一些表的优化就行

0 2014-09-30 10:32:23

只看TA 引用举报 #20 得分 0

⋅用户 namedajipai 在问答区恶意刷贴 ⋅服务器时间不准！ ⋅[BUG报告](IE8)论坛页头多出多余显示 更多帖子 关注私信空间博客 Tiger_Zhao 本版专家分：45897 红花 2017年3月 VB大版内专家分月排行榜第一 2016年12月 VB大版内专家分月排行榜第一 2016年5月 VB大版内专家分月排行榜第一 2016年1月 VB大版内专家分月排行榜第一 2015年12月 VB大版内专家分月排行榜第一 2015年11月 VB大版内专家分月排行榜第一 2015年10月 MS-SQL Server大版内专家分月排行榜第一 2015年9月 VB大版内专家分月排行榜第一 2015年9月 MS-SQL Server大版内专家分月排行榜第一 2015年8月 VB大版内专家分月排行榜第一 2015年8月 MS-SQL Server大版内专家分月排行榜第一 2015年7月 VB大版内专家分月排行榜第一 2015年7月 MS-SQL Server大版内专家分月排行榜第一 2015年6月 VB大版内专家分月排行榜第一 2015年5月 VB大版内专家分月排行榜第一 2015年4月 VB大版内专家分月排行榜第一 2015年3月 VB大版内专家分月排行榜第一 2015年2月 VB大版内专家分月排行榜第一 2014年11月 VB大版内专家分月排行榜第一 2014年9月 VB大版内专家分月排行榜第一 2014年8月 VB大版内专家分月排行榜第一 2014年7月 VB大版内专家分月排行榜第一 2013年7月 VB大版内专家分月排行榜第一 2013年4月 VB大版内专家分月排行榜第一 2010年2月 VB大版内专家分月排行榜第一 2010年1月 VB大版内专家分月排行榜第一 2009年11月 VB大版内专家分月排行榜第一 2009年9月 VB大版内专家分月排行榜第一 2009年8月 VB大版内专家分月排行榜第一 2009年7月 VB大版内专家分月排行榜第一 2009年4月 VB大版内专家分月排行榜第一 2009年3月 VB大版内专家分月排行榜第一 2009年2月 VB大版内专家分月排行榜第一 2009年1月 VB大版内专家分月排行榜第一 2008年6月 VB大版内专家分月排行榜第一 2007年12月 VB大版内专家分月排行榜第一 2007年10月 VB大版内专家分月排行榜第一 2007年9月 VB大版内专家分月排行榜第一 黄花 2016年11月 VB大版内专家分月排行榜第二 2016年1月 MS-SQL Server大版内专家分月排行榜第二 2015年12月 MS-SQL Server大版内专家分月排行榜第二 2015年11月 MS-SQL Server大版内专家分月排行榜第二 2015年5月 MS-SQL Server大版内专家分月排行榜第二 2015年4月 MS-SQL Server大版内专家分月排行榜第二 2015年1月 VB大版内专家分月排行榜第二 2015年1月 MS-SQL Server大版内专家分月排行榜第二 2014年12月 VB大版内专家分月排行榜第二 2014年11月 MS-SQL Server大版内专家分月排行榜第二 2014年9月 MS-SQL Server大版内专家分月排行榜第二 2013年8月 VB大版内专家分月排行榜第二 2013年6月 VB大版内专家分月排行榜第二 2013年5月 VB大版内专家分月排行榜第二 2010年4月 VB大版内专家分月排行榜第二 2010年3月 VB大版内专家分月排行榜第二 2008年12月 VB大版内专家分月排行榜第二 2008年8月 VB大版内专家分月排行榜第二 2008年7月 VB大版内专家分月排行榜第二 2007年11月 VB大版内专家分月排行榜第二 蓝花 2017年1月 MS-SQL Server大版内专家分月排行榜第三 2015年6月 MS-SQL Server大版内专家分月排行榜第三 2015年3月 MS-SQL Server大版内专家分月排行榜第三 2015年2月 MS-SQL Server大版内专家分月排行榜第三 2014年12月 MS-SQL Server大版内专家分月排行榜第三 2014年10月 VB大版内专家分月排行榜第三 2014年10月 MS-SQL Server大版内专家分月排行榜第三 2014年8月 MS-SQL Server大版内专家分月排行榜第三 2013年9月 VB大版内专家分月排行榜第三 2013年3月 VB大版内专家分月排行榜第三 2012年5月 VB大版内专家分月排行榜第三 2012年4月 VB大版内专家分月排行榜第三 2010年10月 VB大版内专家分月排行榜第三 2010年8月 VB大版内专家分月排行榜第三 2010年7月 VB大版内专家分月排行榜第三 2009年5月 VB大版内专家分月排行榜第三 2008年9月 VB大版内专家分月排行榜第三 2008年4月 VB大版内专家分月排行榜第三 2008年2月 VB大版内专家分月排行榜第三: 7000W条记录不算很多。
查询的优化主要就是两条：索引，统计汇总表。

0 2014-09-30 10:36:23

只看TA 引用举报 #21 得分 0

⋅大数据量表的一些优化策略 ⋅word解析的一些问题... ⋅怎么将word中的图片进行输出... 更多帖子 关注私信空间博客 Tll_W 本版专家分：0: 引用 21 楼 Tiger_Zhao 的回复:
7000W条记录不算很多。
查询的优化主要就是两条：索引，统计汇总表。

如果是10年的数据来预估，那就是7亿条记录了，现在我查询主要集中在3个字段：楼号、楼层和时间，比如我要差某楼在一定时间内的数据，或者查询某层（不同楼层编号不同，是唯一的）在一定时间内的数据，我建一个联合聚集索引（楼号、楼层、时间）够吗？

0 2014-09-30 10:50:26

只看TA 引用举报 #22 得分 0

⋅用户 namedajipai 在问答区恶意刷贴 ⋅服务器时间不准！ ⋅[BUG报告](IE8)论坛页头多出多余显示 更多帖子 关注私信空间博客 Tiger_Zhao 本版专家分：45897 红花 2017年3月 VB大版内专家分月排行榜第一 2016年12月 VB大版内专家分月排行榜第一 2016年5月 VB大版内专家分月排行榜第一 2016年1月 VB大版内专家分月排行榜第一 2015年12月 VB大版内专家分月排行榜第一 2015年11月 VB大版内专家分月排行榜第一 2015年10月 MS-SQL Server大版内专家分月排行榜第一 2015年9月 VB大版内专家分月排行榜第一 2015年9月 MS-SQL Server大版内专家分月排行榜第一 2015年8月 VB大版内专家分月排行榜第一 2015年8月 MS-SQL Server大版内专家分月排行榜第一 2015年7月 VB大版内专家分月排行榜第一 2015年7月 MS-SQL Server大版内专家分月排行榜第一 2015年6月 VB大版内专家分月排行榜第一 2015年5月 VB大版内专家分月排行榜第一 2015年4月 VB大版内专家分月排行榜第一 2015年3月 VB大版内专家分月排行榜第一 2015年2月 VB大版内专家分月排行榜第一 2014年11月 VB大版内专家分月排行榜第一 2014年9月 VB大版内专家分月排行榜第一 2014年8月 VB大版内专家分月排行榜第一 2014年7月 VB大版内专家分月排行榜第一 2013年7月 VB大版内专家分月排行榜第一 2013年4月 VB大版内专家分月排行榜第一 2010年2月 VB大版内专家分月排行榜第一 2010年1月 VB大版内专家分月排行榜第一 2009年11月 VB大版内专家分月排行榜第一 2009年9月 VB大版内专家分月排行榜第一 2009年8月 VB大版内专家分月排行榜第一 2009年7月 VB大版内专家分月排行榜第一 2009年4月 VB大版内专家分月排行榜第一 2009年3月 VB大版内专家分月排行榜第一 2009年2月 VB大版内专家分月排行榜第一 2009年1月 VB大版内专家分月排行榜第一 2008年6月 VB大版内专家分月排行榜第一 2007年12月 VB大版内专家分月排行榜第一 2007年10月 VB大版内专家分月排行榜第一 2007年9月 VB大版内专家分月排行榜第一 黄花 2016年11月 VB大版内专家分月排行榜第二 2016年1月 MS-SQL Server大版内专家分月排行榜第二 2015年12月 MS-SQL Server大版内专家分月排行榜第二 2015年11月 MS-SQL Server大版内专家分月排行榜第二 2015年5月 MS-SQL Server大版内专家分月排行榜第二 2015年4月 MS-SQL Server大版内专家分月排行榜第二 2015年1月 VB大版内专家分月排行榜第二 2015年1月 MS-SQL Server大版内专家分月排行榜第二 2014年12月 VB大版内专家分月排行榜第二 2014年11月 MS-SQL Server大版内专家分月排行榜第二 2014年9月 MS-SQL Server大版内专家分月排行榜第二 2013年8月 VB大版内专家分月排行榜第二 2013年6月 VB大版内专家分月排行榜第二 2013年5月 VB大版内专家分月排行榜第二 2010年4月 VB大版内专家分月排行榜第二 2010年3月 VB大版内专家分月排行榜第二 2008年12月 VB大版内专家分月排行榜第二 2008年8月 VB大版内专家分月排行榜第二 2008年7月 VB大版内专家分月排行榜第二 2007年11月 VB大版内专家分月排行榜第二 蓝花 2017年1月 MS-SQL Server大版内专家分月排行榜第三 2015年6月 MS-SQL Server大版内专家分月排行榜第三 2015年3月 MS-SQL Server大版内专家分月排行榜第三 2015年2月 MS-SQL Server大版内专家分月排行榜第三 2014年12月 MS-SQL Server大版内专家分月排行榜第三 2014年10月 VB大版内专家分月排行榜第三 2014年10月 MS-SQL Server大版内专家分月排行榜第三 2014年8月 MS-SQL Server大版内专家分月排行榜第三 2013年9月 VB大版内专家分月排行榜第三 2013年3月 VB大版内专家分月排行榜第三 2012年5月 VB大版内专家分月排行榜第三 2012年4月 VB大版内专家分月排行榜第三 2010年10月 VB大版内专家分月排行榜第三 2010年8月 VB大版内专家分月排行榜第三 2010年7月 VB大版内专家分月排行榜第三 2009年5月 VB大版内专家分月排行榜第三 2008年9月 VB大版内专家分月排行榜第三 2008年4月 VB大版内专家分月排行榜第三 2008年2月 VB大版内专家分月排行榜第三: 先分析需求！
你有保留7亿明细的必要吗？不要想当然。
通常查询也只会是一些统计结果，按需要统计汇总到某个层级，过期明细可以删除的。

0 2014-09-30 11:48:55

只看TA 引用举报 #23 得分 0

⋅预想的pgsql最简说明/速览--有没有高手出来补充一下 ⋅sql server是如何使用同文件组里mdf/ndf的？ ⋅为网站里能下载的所有文件自动生成一个校验码 更多帖子 关注私信空间博客 haitao 本版专家分：12371 黄花 2013年12月 Delphi大版内专家分月排行榜第二 蓝花 2014年4月 Delphi大版内专家分月排行榜第三 2014年3月 Delphi大版内专家分月排行榜第三 2013年5月 Delphi大版内专家分月排行榜第三 2013年1月 Delphi大版内专家分月排行榜第三 2010年11月 Delphi大版内专家分月排行榜第三 2009年12月 Delphi大版内专家分月排行榜第三 2009年11月 Delphi大版内专家分月排行榜第三: 当前表：1年7千万条，不算多
历史表：只导入，不删改

0 2014-09-30 14:38:53

只看TA 引用举报 #24 得分 0

⋅面试中的线程问题 ⋅zookeeper的分享 ⋅新年第一篇博文请大家捧场 更多帖子 关注私信空间博客 KeepSayingNo 本版专家分：6649: ⊙﹏⊙b汗，肯定不是自己枚举建表啊，而是自动建表啊，例如你要插入一条数据，这个数据肯定包含楼层号，那么插入前就判断表是否存在，不存在就建表

0 2014-09-30 14:51:24

只看TA 引用举报 #25 得分 0

收藏帖子