2.1w+
社区成员
请教一下， 多表查询优化 大概百万条数据 . . .
===============================================================
SELECT Tong.TongDate
FROM Stations INNER JOIN Tong ON Stations.STGUID= Tong.STGUID
INNER JOIN TMaterial ON TMaterial.TGUID = Tong.TGUID
INNER JOIN STMaterial ON TMaterial.STMGUID = STMaterial.STMGUID
WHERE (ABS(TMaterial.误差率) > STMaterial.误差率上限) OR
(ABS(TMaterial.误差率) > STMaterial.误差率下限)
GROUP BY Tong.TongDate
===============================================================
Stations和Tong是一对多关系~
Tong 和 TMaterial 是一对多关系~
sql 写的不太好.
现在数据一多，执行时间达到6秒
请教一下如何修改 . .
...全文
当前发帖距今超过3年，不再开放新的回复
发表回复
遥远的守望 2015-08-19
谢谢大神的建议 . . . . .ChinaITOldMan 2015-08-19
这个好象比较难优化，订一下
shoppo0505 2015-08-18
１．把(ABS(TMaterial.误差率) > STMaterial.误差率上限) OR
(ABS(TMaterial.误差率) > STMaterial.误差率下限)
这两个条件放到inner join后。
２．顺便看看那个表格中的数据比较少，少的可以作为出发表
Tiger_Zhao 2015-08-18
SELECT DISTINCT tong.tongdate
FROM tong
WHERE EXISTS (SELECT *
FROM tmaterial
JOIN stmaterial
ON tmaterial.stmguid = stmaterial.stmguid
WHERE tmaterial.tguid = tong.tguid
AND ( (Abs(tmaterial.误差率) > stmaterial.误差率上限)
OR (Abs(tmaterial.误差率) > stmaterial.误差率下限)
)如果 Tong.STGUID 都是从Stations来的话，没必要连Stations了。
需要建索引
tong(tguid)包含(tongdate)
tmaterial(tguid)包含(stmguid,误差率)
stmaterial(stmguid)包含(误差率上限,误差率下限)
tong要全遍历，很难优化了。
sql查询万级数据优化 今天点击分页的时候，点击到86363页，出现了系统在转圈圈赚了快一分钟，寻思着以为电脑坏了，仔细一看，竟是代码的问题，于是乎请教导师之后。...为了提高系统的响应能力，不得不进行优化sql处理应对万级数据了。
优化SQL查询：怎样写出高性能SQL语句 执行计划是数据库根据SQL语句和相关表的统计信息作出的一个查询方案，这个方案是由查询优化器自动分析产生的，比如一条SQL语句如果用来从一个 10万条记录的表中查1条记录，那查询优化器会选择“索引查找”方式，如果...
mysql随机取3条数据以及优化 在mysql中带了随机取数据的函数，在mysql中我们会有rand()函数，很多朋友都会直接使用，如果几百条数据肯定没事，如果几万或百万时你会发现，直接使用是错误的。下面我来介绍随机取数据一些优化方法。 SELECT *...
干货，OLAP数仓从百万到百亿级数据量实时分析 一、有哪些类型的OLAP数仓？1.按数据量划分对一件事物或一个东西基于不同角度，可以进行多种分类方式。对数仓产品也一样。比如我们可以基于数据量来选择不同类型的数量，如下图所示：本系列文章...
Flink流式处理百万数据量CSV文件 这个csv文件中可能有数百万条数据 需求 将所有的异常数据检测出来 什么样的数据是异常数据 圈红的数据我手动添加了一个a 原本是数字类型 现在变成了一个字符串类型 那么程序中将字符串类型转换为数字类型的话 就...
DSP入门应该懂得57个问题 但在CCS中，为了方便调试，可以将数据通过prinf命令虚拟输出到主机的屏幕上。 2)DSP的C语言的编译过程为，C编译为ASM（汇编语言），再由ASM编译为OBJ（中间代码文件）。因此C和ASM的对应关系非常明确，非常便于...
面试必问的数据库-4.1：sql-优化 1：关于批量插入数据（100万）数据优化 思路： 1：变多次提交为一次 2：使用批量操作 整理了两种方法： 方法一： 1. publicstaticvoidinsert(){ 2. //开时时间 3. Longbegin=newDate().getTime(); 4. //...
使用easypoi4.0导出百万级数据到excel遇到的一点小问题 之前使用API的是exportExcel(List<?> list, String title, String sheetName, Class<?> pojoClass,String fileName, ...109W条数据查询mysql返回需要40多s,这个后续打算使用ES进行优化; 数据写入ex...
关于mysql处理百万级以上的数据时如何提高其查询速度的方法 由于在参与的实际项目中发现当mysql表的数据量达到百万级时，普通SQL查询效率呈直线下降，而且如果where中的查询条件较多时，其查询速度简直无法容忍。曾经测试对一个包含400多万条记录（有索引）的表执行一条条件...
支持向量机通俗导论（理解SVM的三层境界） 支持向量机通俗导论（理解...优化，修改次数达上百次，最后修改于2016年11月。 声明：本文于2012年便早已附上所有参考链接，并注明是篇“学习笔记”，且写明具体参考了pluskid等人的文章。文末2013年的PDF是为证。另...
记录一次300G，10E条数据的数据库迁移工作 运行了两年多，200多张表，大概10E条数据，最大的表将近3E数据，data文件夹大概300G左右。大表信息如图： 我以前的项目都是些小项目，数据量最大的也就百万级，我以前的认知中，MySQL处理亿级数据应该挺慢的（不知道...
请教关于mysql的优化 原贴:http://blog.csdn.net/ncdawen/archive/2006/01/06/572483.aspx 请教关于mysql的优化 手头上有个系统，mysql的记录大概达到几千万的级别，每日新增几百万条记录。可以将过时的记录清除，但库中要保存的记录...
关于OLAP数仓，这大概是史上最全面的总结！（万字干货） 点击上方"云祁QI"关注,星标或置顶一起成长前言大家好，我是云祁！偶然间看到知乎上这篇关于OLAP的深度解读，从技术发展，产品选型，执行优化等方面做了详细的剖析，分享...
入门数据分析师 数据分析师 “数据分析师是专门从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测的专业人员” 数据分析 = 分析工具 + 分析思维 发展方向 业务线: 适合对事物感到好奇并深入研究，...
数据中台从何而来 DT时代，大数据成为人们谈论的焦点，2019年更被誉为数据中台元年。人人都在谈数据中台，却不是所有人都清楚，从历史逻辑来看，中台或者数据中台从何而来？ 少数清楚这段历史的人中，有一位大数据老司机，人称「才...
搜索，推荐，广告系统架构及算法技术资料大合集吐血整理——2020年终分享 萌新想请教一下 特征选择 的问题 实时计算引擎在贝壳的应用与实践 今日头条在消息服务平台和容灾体系建设方面的实践与思考 推荐系统中模型训练及使用流程的标准化 知识图谱与语义分析技术介绍（附前沿论文...
sql 百万级数据库优化方案 1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： select ...
