ID：随机生成的字符，关键字
LayerID：楼层的编号
Time：时间
测量数据：温度等类似数据
现在的问题是：如果按照1000个楼，每个楼大约有10层，这样一年的数据大约是1000*10*24*365=7000W左右的数据量，这么多数据，入库查询肯定都是比较慢的，这种情况这个表怎么优化？
我考虑了几个方面，建立索引和分表等，还有其他方面的也可以说说，分不够可再加。
-
等级
本版专家分：0结帖率 78.57% -
大概情况我举个例子，现在有很多大楼，大楼有5到10层吧，每层中每天定时（1小时间隔）会产生一些数据，比如温度等参数。针对此，我设计了一个表，字段包括：
ID：随机生成的字符，关键字
LayerID：楼层的编号
Time：时间
测量数据：温度等类似数据
现在的问题是：如果按照1000个楼，每个楼大约有10层，这样一年的数据大约是1000*10*24*365=7000W左右的数据量，这么多数据，入库查询肯定都是比较慢的，这种情况这个表怎么优化？
我考虑了几个方面，建立索引和分表等，还有其他方面的也可以说说，分不够可再加。展开阅读全文
-
等级
本版专家分：9298 -
这个恐怕还是看你具体的设计以及具体的查询吧，单单说优化，范围太大了
单表7000W也不算多吧，
前段时间泄露出来的2000W开房信息，我虚拟机才1G内存1颗CPU，根据查询建了几个索引，也不觉得慢
-
等级
本版专家分：8593 -
这个不分数问题，一个设计、开发方案，不是三五句能说清楚的
-
版主等级
本版专家分：313905勋章
-
-
名人
2019年 荣获名人称号
2012年 荣获名人称号
-
-
进士
2011年 总版技术专家分年内排行榜第四
2010年 总版技术专家分年内排行榜第九
2009年 总版技术专家分年内排行榜第八
-
- 金牌 2011年10月 总版技术专家分月排行榜第一
-
-
银牌
2011年12月 总版技术专家分月排行榜第二
2011年9月 总版技术专家分月排行榜第二
2009年11月 总版技术专家分月排行榜第二
-
-
你这个具体的方案怎么样？当然包含索引设计和本身的数据库设计这些都是很重要的。
如果是查询语句比较慢，然后设计方面又没有多大问题的话，才去考虑索引这些。
通过事件探查器和查看执行计划这些可以来进行调优。内容不是一点半点。
-
等级
本版专家分：0
-
我就说一下问题吧，查询的时候以where layerid='***' and time > '**8' and time <'***'为主，就是我先要找某层的（每个楼都有自己独立编号的层），某段时间的数据出来，我想问下，建立索引的话我这个怎么建立?目前我是layerid建立的聚集索引，time是非聚集索引？有什么不妥吗？
-
等级
本版专家分：0
-
现在就最基本的要求，数据入库的时候不至于太慢，查询是以层号和时间共同来筛选的。
目前服务器16G内存，我设置了最高2G内存使用。layerid建立的聚集索引，time是非聚集索引，不知道有什么地方有不对的？现在入库的时候偶尔会超时，查询速度有些慢。
-
等级
本版专家分：45917勋章
-
-
红花
2017年3月 VB大版内专家分月排行榜第一
2016年12月 VB大版内专家分月排行榜第一
2016年5月 VB大版内专家分月排行榜第一
2016年1月 VB大版内专家分月排行榜第一
2015年12月 VB大版内专家分月排行榜第一
2015年11月 VB大版内专家分月排行榜第一
2015年10月 MS-SQL Server大版内专家分月排行榜第一
2015年9月 VB大版内专家分月排行榜第一
2015年9月 MS-SQL Server大版内专家分月排行榜第一
2015年8月 VB大版内专家分月排行榜第一
2015年8月 MS-SQL Server大版内专家分月排行榜第一
2015年7月 VB大版内专家分月排行榜第一
2015年7月 MS-SQL Server大版内专家分月排行榜第一
2015年6月 VB大版内专家分月排行榜第一
2015年5月 VB大版内专家分月排行榜第一
2015年4月 VB大版内专家分月排行榜第一
2015年3月 VB大版内专家分月排行榜第一
2015年2月 VB大版内专家分月排行榜第一
2014年11月 VB大版内专家分月排行榜第一
2014年9月 VB大版内专家分月排行榜第一
2014年8月 VB大版内专家分月排行榜第一
2014年7月 VB大版内专家分月排行榜第一
2013年7月 VB大版内专家分月排行榜第一
2013年4月 VB大版内专家分月排行榜第一
2010年2月 VB大版内专家分月排行榜第一
2010年1月 VB大版内专家分月排行榜第一
2009年11月 VB大版内专家分月排行榜第一
2009年9月 VB大版内专家分月排行榜第一
2009年8月 VB大版内专家分月排行榜第一
2009年7月 VB大版内专家分月排行榜第一
2009年4月 VB大版内专家分月排行榜第一
2009年3月 VB大版内专家分月排行榜第一
2009年2月 VB大版内专家分月排行榜第一
2009年1月 VB大版内专家分月排行榜第一
2008年6月 VB大版内专家分月排行榜第一
2007年12月 VB大版内专家分月排行榜第一
2007年10月 VB大版内专家分月排行榜第一
2007年9月 VB大版内专家分月排行榜第一
-
-
黄花
2016年11月 VB大版内专家分月排行榜第二
2016年1月 MS-SQL Server大版内专家分月排行榜第二
2015年12月 MS-SQL Server大版内专家分月排行榜第二
2015年11月 MS-SQL Server大版内专家分月排行榜第二
2015年5月 MS-SQL Server大版内专家分月排行榜第二
2015年4月 MS-SQL Server大版内专家分月排行榜第二
2015年1月 VB大版内专家分月排行榜第二
2015年1月 MS-SQL Server大版内专家分月排行榜第二
2014年12月 VB大版内专家分月排行榜第二
2014年11月 MS-SQL Server大版内专家分月排行榜第二
2014年9月 MS-SQL Server大版内专家分月排行榜第二
2013年8月 VB大版内专家分月排行榜第二
2013年6月 VB大版内专家分月排行榜第二
2013年5月 VB大版内专家分月排行榜第二
2010年4月 VB大版内专家分月排行榜第二
2010年3月 VB大版内专家分月排行榜第二
2008年12月 VB大版内专家分月排行榜第二
2008年8月 VB大版内专家分月排行榜第二
2008年7月 VB大版内专家分月排行榜第二
2007年11月 VB大版内专家分月排行榜第二
-
-
蓝花
2017年1月 MS-SQL Server大版内专家分月排行榜第三
2015年6月 MS-SQL Server大版内专家分月排行榜第三
2015年3月 MS-SQL Server大版内专家分月排行榜第三
2015年2月 MS-SQL Server大版内专家分月排行榜第三
2014年12月 MS-SQL Server大版内专家分月排行榜第三
2014年10月 VB大版内专家分月排行榜第三
2014年10月 MS-SQL Server大版内专家分月排行榜第三
2014年8月 MS-SQL Server大版内专家分月排行榜第三
2013年9月 VB大版内专家分月排行榜第三
2013年3月 VB大版内专家分月排行榜第三
2012年5月 VB大版内专家分月排行榜第三
2012年4月 VB大版内专家分月排行榜第三
2010年10月 VB大版内专家分月排行榜第三
2010年8月 VB大版内专家分月排行榜第三
2010年7月 VB大版内专家分月排行榜第三
2009年5月 VB大版内专家分月排行榜第三
2008年9月 VB大版内专家分月排行榜第三
2008年4月 VB大版内专家分月排行榜第三
2008年2月 VB大版内专家分月排行榜第三
-
-
A)给的内存太少，不要吝啬，数据库单独一台服务器，内存不限制。
B)要(layerid,time)一起建聚集索引。
如果没有单独按time查询的需求，那么单个的(time)索引毫无用处。
-
等级
本版专家分：5625勋章
-
- 黄花 2014年10月 MS-SQL Server大版内专家分月排行榜第二
-
-
这个可以在LAYERID,TIME 上建联合聚集索引。 应该TIME 在前面。这样产生的碎片较少。个人看法啊
-
等级
本版专家分：0
-
大概明白了些，那么如果再多加一个字段，比如楼号，其实楼号跟层号是有关联关系的，这个时候如果我要查某个楼一段时间内的数据，是不是也得建立一个联合索引？
-
等级
本版专家分：0
-
我联系方式是476492162，情况大概就是索引方面，只要说明白就行了。完事就结贴
-
等级
本版专家分：6649勋章
-
- 技术圈认证 用户完成年度认证，即可获得
-
- 签到达人 累计签到获取，不积跬步，无以至千里，继续坚持！
-
- 铜牌 2020年10月 总版技术专家分月排行榜第三
-
- 黄花 2020年10月 Java大版内专家分月排行榜第二
-
-
1、针对楼分表进行存储数据
2、每个楼的表中建立针对楼层、监控点ID和时间的聚族索引
这样基本能满足你的需求，如果后续遇到查询效率瓶颈，欢迎再咨询
- 大数据表的查询优化方案
如果有一张大表，表中的数据有几百万、几千万甚至上亿，要实现实时查询，查询的结果要在十秒钟之内出来，...现在需要对表中的数据进行查询统计，之前由于没做优化，导致此表的查询效率非常低下，让使用者非
- 大数据量的分页查询优化方案
大数据量的分页查询优化方案欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、...
- 关系型数据库大数据性能优化解决方案之：分表(当前表历史表)、表分区、数据清理原则
原因和目的由于交易量大或者日积月累造成数据库的数据量越来越大。会导致系统性能大幅下降，所以要对部分业务的表数据作备份和清理减少数据量，来提升请求响应的速度，提升用户体验数据是否需要清理的阀值判断通常当...
- Oracle大数据常见优化查询
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： select ...
- spark-大表join优化方案
数据量： 1~2G左右的表与3~4T的大表进行Join拆分 将任务数据分为多个结果RDD，将各个RDD的数据写入临时的hdfs目录，最后合并调整并行度和shuffle参数 spark-submit 参数#提高shuffle阶段的任务并行度，降低单个...
- Oracle大数据表的处理方案
SQL语句是一种方便的语言，同样也是一种“迷惑性”的语言。这个主要体现在它的集合操作特性上。无论数据表数据量是1条，还是1亿条，更新的语句都是完全相同。但是，实际执行结果（或者能否出现结果）却是有很大的...
- oracle大数据表 如何建立索引
大数据表，按某字段T（Varchar型的时间字段）分区，一个月一个...原来应用一直正常，近期由于其它分区表查询索引选择策略不优化的问题，对所有大数据表的分区表进行数据分析（1％抽样，对数据和索引进行分析），促使O
- 数据表分区策略及实现
表分区其实就是将一张大数据量表中的数据按照不同的分区策略分配到不同的系统分区、硬盘或是不同的服务器设备上，实现数据的均衡分配，这样做的好处是均衡大数据量数据到不同的存储介子中，这样每个分区均摊了一部分...
- 一次大量数据更新的性能优化调研
随着数据量的一步步增加，时间也越来越多，逐渐成为一个风险因子，于是想到要尝试做一些优化，降低同步时间。 分析 经过调查，需要同步的是TABLE_A，同步的过程可以简化表述为两步： Call API_B to get updated ...
- 大数据量索引分析
PLSQL_性能优化系列14_Oracle Index Anaylsis 1. 索引质量 索引质量的高低对数据库整体性能有着直接的影响。 良好高质量的索引使得数据库性能得以数量级别的提升，而低效冗余的索引则使得数据库性能缓慢如...
- 大数据量下的数据库查询与插入如何优化？ （整理）
数据库经常要做一些查询与插入，但是如果查询和插入的数据量过大的时候就会引发数据库性能问题，降低数据库工作效率。因此性能调优是大家在工作中都能够预见的问题，大到世界五百强的核心系统，小到超市的库存系统，...
- 大数据量数据库优化方案（Innodb避免进行全表查询）
首先考虑在涉及到where或order by的字句上建立索引 where 中存在 is null 使用like进行查询 避免在where字句中使用!= 或<>操作符 避免在where字句中使用or进行连接 能使用between尽量减少in字句的使用，以及...
- Mysql千万级大表优化策略
1.优化sql以及索引 1.1优化sql 1、有索引但未被用到的情况（不建议） (1)避免like的参数以通配符开头时 尽量避免Like的参数以通配符开头，否则数据库引擎会放弃使用索引而进行全表扫描。 以通配符开头的sql...
- 大数据之路：阿里巴巴大数据实践
阿里巴巴大数据系统体系架构主要分为数据采集、数据计算、数据服务和数据应用四大层次。 第2章：日志采集 阿里巴巴的日志采集体系方案包括两大体系：Aplus.JS是Web端（基于浏览器）日志采集技术方案：UserTrack是...
- 数据量太大的情况下，如何优化查询速度？
索引的使用要恰到好处，其使用原则如下：●在经常进行连接，但是没有指定为外键的列上建立索引，而不经常连接的字段则由优化器自动生成索引。●在频繁进行排序或分组（即进行group by或order by操作）的列上建立索引...
- 大数据监控平台实践之路
大数据监控平台实践之路一、监控体系业务层：应用层：系统层：二、架构设计Telegraf：input：output：调度频率：服务启动：InfluxDB：服务启动：常用命令：Grafana：Grafana主要特性：简单使用介绍： 原文地址： ...
- 大数据之路、阿里巴巴大数据实践读书笔记 --- 第十四章、存储和成本管理
在大数据时代，移动互联、社交网络、数据分析、云服务等应用迅速普及，对数据中心提出了革命性的需求，存储管理已经成为了IT核心之一。对于数据爆炸式的增长，存储管理也要面临一系列挑战。如何有效地降低存储资源的...
- 大数据平台架构的层次划分
1. 数据源层：包括传统的数据库，数据仓库，分布式数据库，NOSQL数据库，半结构化数据，无结构化数据，爬虫，日志系统等，是大数据平台的数据产生机构。 2. 数据整理层：包括数据清洗、数据转换、数据加工、数据...
- 大数据 用户画像基础
导读：在互联网步入大数据时代后，用户行为给企业的产品和服务带来了一系列的改变和重塑，其中最大的变化在于，用户的一切行为在企业面前是可“追溯”“分析”的。企业内保存了大量的原始数据和各种业...
- 浅谈大数据：如何成为大数据企业？
文章讲的是浅谈大数据：如何成为大数据企业，1.什么叫大数据? “大数据”是“数据化”趋势下的必然产物!数据化最核心的理念是：“一切都被记录，一切都被数字化”。最近2年所产生的数据量等同于2010年以前整个人类...
- java大数据处理调优
随着开发技能不断学习，在开发过程肯定会用到大数据调优、内存调优、jvm、cpu等工具的使用，如果你有相同问题，请往下看 原文地址：https://www.cnblog 从总体上来看，对于大型网站，比如门户网站，在面对大量用户...
- 魅族大数据之流平台设计部署实践
导读：魅族大数据的流平台系统拥有自设计的采集SDK，自设计支持多种数据源采集的Agent组件，还结合了Flume、Spark、Metaq、Storm、Kafka、Hadoop等技术组件，本文就魅族流平台对大量数据的采集、实时计算、系统分析...
- 2020大数据面试真题(持续更新)
一.Hadoop 二.Hive 三.Spark 四.Kafka 五.Hbase 六.Flink 七.Java 八.Elasticsearch 九.Flume 十.Sqoop 十一.Z...
- mysql数据库分表分库的策略
mysql数据库分表分库的策略 Nginx高性能Web服务器详解 文章正文 原文：https://www.cnblogs.com/yyjie/p/7482978.html 一、先说一下为什么要分表： 当一张的数据达到几百万时，你查询一次所花的时间会变多...
- 如何处理大数据量的查询
在实际的任何一个系统中，查询都是必不可少的一个功能，而查询设计的好坏又影响到系统的响应时间和性能这两个关键指标，尤其是当数据量变得越来越大时，于是如何处理大数据量的查询成了每个系统架构设计时都必须面对...
- 大数据迁移实践之路
随着业务的迅速发展，农业银行某系统承担的运行...为保障系统稳定运行，项目组从增加系统资源、优化资源配置、优化重点程序和升级系统数据库等多个维度对系统进行了综合优化。下面笔者从大表、热表的数据分析和优...
- 教育大数据的核心技术、应用现状与发展趋势
作者简介：孙洪涛，博士，中央民族大学现代教育技术部高级工程师，研究方向：教育大数据，教育信息化规划。北京 100081；郑勤华，博士，北京师范大学教育学部副教授，研究方向：教育经济学，教育大数据。北京 100875...
- 大数据面试题真题
目录 一.Hadoop 1.hdfs写流程 2.hdfs读流程 3.hdfs的体系结构 4.一个datanode 宕机,怎么一个流程恢复 5.hadoop 的 namenode 宕机,怎么解决 6.namenode对元数据的管理 7.元数据的checkpoint ...
- SQL Server数据库性能优化之索引篇
近期项目需要，做了一段时间的SQL Server性能优化，遇到了一些问题，也积累了一些经验，现总结一下，与君共享。SQL Server性能优化涉及到许多方面，如良好的系统和数据库设计，优质的SQL编写，合适...
- python爬虫20个案例
讲诉python爬虫的20个案例 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。