mysql 中使用not in 后为啥更慢了...

其他数据库开发 > MySQL
收藏 回复
[问题点数：40分，结帖人flmh1314]
更多帖子
私信 空间 博客
flmh1314
等级
本版专家分：0
结帖率 75%
我们有一个session表,用来存储每天使用我们程序的计算机设备情况,有两个字段inputtime,device_uuid,分别用来存储时间和计算机的设备id(全球唯一),这个表中目前有20w条数据,inputtime字段做了索引.以前计算每天新增的计算机用户是这样计算的 SELECT count(DISTINCT device_uuid) FROM session WHERE inputtime <='今天时间';     SELECT count(DISTINCT device_uuid) FROM `mobile_session` WHERE inputtime <='昨天时间'; 用今天的减去昨天的,就可以得到每天的新增用户了.后来感觉这样做,每次都要进行两次全表搜索,效率不高,我们就新建了一张device表,目前有20000条数据,有一个字段deviceid,用来存储所有昨天之前使用过我们的程序的计算机设备id,然后今天新增的用户可以这样计算   SELECT count(DISTINCT device_uuid) from session where inputtime>='昨天' and inputtime <='今天' AND DEVICE_UUID NOT IN (SELECT deviceid FROM device ); 发现速度非常慢...请问如何优化呢?
貌似每次都会进行20w乘以2w次检索...
只看楼主 引用 举报 楼主 收起
展开阅读全文
更多帖子
私信 空间 博客
zuoxingyu
等级
本版专家分：20947
勋章
Blank
黄花 2017年4月 其他数据库开发大版内专家分月排行榜第二
Blank
蓝花 2008年11月 VB大版内专家分月排行榜第三
SELECT count(DISTINCT device_uuid) FROM session WHERE inputtime between '昨天时间'; and  <='今天时间';

这样不就一次就全部查出了么？？
只看TA 引用 举报 #1得分 10
更多帖子
私信 空间 博客
版主
ACMAIN_CHM
等级
本版专家分：473061
勋章
Blank
名人 2012年 荣获名人称号
Blank
榜眼 2010年 总版技术专家分年内排行榜第二
Blank
探花 2009年 总版技术专家分年内排行榜第三
Blank
进士 2013年 总版技术专家分年内排行榜第十
2011年 总版技术专家分年内排行榜第七
换成JOIN，不用IN来试试。

SELECT count(DISTINCT device_uuid) 
from session a left join (SELECT deviceid FROM device ) b on a.DEVICE_UUID=b.deviceid
where inputtime>='昨天' and inputtime <='今天' 
AND b.deviceid is null
只看TA 引用 举报 #2得分 10
更多帖子
私信 空间 博客
flmh1314
等级
本版专家分：0
引用 1 楼 zuoxingyu 的回复:
SELECT count(DISTINCT device_uuid) FROM session WHERE inputtime between '昨天时间'; and  <='今天时间';

这样不就一次就全部查出了么？？


昨天时间和今天时间之间可能有一些device_uuid在之前出现过 
你的语句只能获取今天的独立用户 但不能获取新增用户啊
只看TA 引用 举报 #3得分 0
更多帖子
私信 空间 博客
flmh1314
等级
本版专家分：0
引用 2 楼 acmain_chm 的回复:
换成JOIN，不用IN来试试。

SELECT count(DISTINCT device_uuid) 
from session a left join (SELECT deviceid FROM device ) b on a.DEVICE_UUID=b.deviceid
where inputtime>='昨天' and inputtime <='今天' 
AND b.devic……

用了你的语句 耗时40秒 
而我用之前的两个语句都是0.5秒  加起来才1秒
只看TA 引用 举报 #4得分 0
更多帖子
私信 空间 博客
版主
ACMAIN_CHM
等级
本版专家分：473061
勋章
Blank
名人 2012年 荣获名人称号
Blank
榜眼 2010年 总版技术专家分年内排行榜第二
Blank
探花 2009年 总版技术专家分年内排行榜第三
Blank
进士 2013年 总版技术专家分年内排行榜第十
2011年 总版技术专家分年内排行榜第七
那就换成这个试试。

另外贴出你的 
show index from session;
show index from device;
只看TA 引用 举报 #5得分 10
更多帖子
私信 空间 博客
版主
wwwwb
等级
本版专家分：239879
勋章
Blank
红花 2008年8月 其他数据库开发大版内专家分月排行榜第一
2008年7月 其他数据库开发大版内专家分月排行榜第一
2007年7月 其他数据库开发大版内专家分月排行榜第一
2007年6月 其他数据库开发大版内专家分月排行榜第一
2006年12月 其他数据库开发大版内专家分月排行榜第一
2006年11月 其他数据库开发大版内专家分月排行榜第一
2006年9月 其他数据库开发大版内专家分月排行榜第一
2006年5月 其他数据库开发大版内专家分月排行榜第一
2005年12月 其他数据库开发大版内专家分月排行榜第一
Blank
黄花 2015年6月 其他数据库开发大版内专家分月排行榜第二
2015年5月 其他数据库开发大版内专家分月排行榜第二
2013年6月 其他数据库开发大版内专家分月排行榜第二
2013年3月 其他数据库开发大版内专家分月排行榜第二
2012年12月 其他数据库开发大版内专家分月排行榜第二
2012年10月 其他数据库开发大版内专家分月排行榜第二
2012年9月 其他数据库开发大版内专家分月排行榜第二
2012年7月 其他数据库开发大版内专家分月排行榜第二
2012年6月 其他数据库开发大版内专家分月排行榜第二
2011年11月 其他数据库开发大版内专家分月排行榜第二
2011年10月 其他数据库开发大版内专家分月排行榜第二
2011年9月 其他数据库开发大版内专家分月排行榜第二
2011年6月 其他数据库开发大版内专家分月排行榜第二
2011年5月 其他数据库开发大版内专家分月排行榜第二
2011年4月 其他数据库开发大版内专家分月排行榜第二
2011年3月 其他数据库开发大版内专家分月排行榜第二
2011年2月 其他数据库开发大版内专家分月排行榜第二
2010年12月 其他数据库开发大版内专家分月排行榜第二
2010年11月 其他数据库开发大版内专家分月排行榜第二
2010年9月 其他数据库开发大版内专家分月排行榜第二
2010年7月 其他数据库开发大版内专家分月排行榜第二
2010年4月 其他数据库开发大版内专家分月排行榜第二
2010年3月 其他数据库开发大版内专家分月排行榜第二
2010年1月 其他数据库开发大版内专家分月排行榜第二
2009年12月 其他数据库开发大版内专家分月排行榜第二
2008年6月 其他数据库开发大版内专家分月排行榜第二
2008年5月 其他数据库开发大版内专家分月排行榜第二
2008年4月 其他数据库开发大版内专家分月排行榜第二
2007年5月 其他数据库开发大版内专家分月排行榜第二
2007年1月 其他数据库开发大版内专家分月排行榜第二
2006年10月 其他数据库开发大版内专家分月排行榜第二
2006年8月 其他数据库开发大版内专家分月排行榜第二
2006年6月 其他数据库开发大版内专家分月排行榜第二
2006年4月 其他数据库开发大版内专家分月排行榜第二
2005年9月 其他数据库开发大版内专家分月排行榜第二
Blank
蓝花 2013年12月 其他数据库开发大版内专家分月排行榜第三
2013年5月 其他数据库开发大版内专家分月排行榜第三
2013年4月 其他数据库开发大版内专家分月排行榜第三
2013年2月 其他数据库开发大版内专家分月排行榜第三
2013年1月 其他数据库开发大版内专家分月排行榜第三
2012年5月 其他数据库开发大版内专家分月排行榜第三
2012年4月 其他数据库开发大版内专家分月排行榜第三
2012年3月 其他数据库开发大版内专家分月排行榜第三
2012年2月 其他数据库开发大版内专家分月排行榜第三
2011年8月 其他数据库开发大版内专家分月排行榜第三
2011年7月 其他数据库开发大版内专家分月排行榜第三
2010年10月 其他数据库开发大版内专家分月排行榜第三
2010年5月 其他数据库开发大版内专家分月排行榜第三
2010年2月 其他数据库开发大版内专家分月排行榜第三
2009年11月 其他数据库开发大版内专家分月排行榜第三
2009年10月 其他数据库开发大版内专家分月排行榜第三
2009年5月 其他数据库开发大版内专家分月排行榜第三
2009年4月 其他数据库开发大版内专家分月排行榜第三
2008年12月 其他数据库开发大版内专家分月排行榜第三
2008年11月 其他数据库开发大版内专家分月排行榜第三
2008年10月 其他数据库开发大版内专家分月排行榜第三
2008年9月 其他数据库开发大版内专家分月排行榜第三
2007年9月 其他数据库开发大版内专家分月排行榜第三
2007年8月 其他数据库开发大版内专家分月排行榜第三
2007年4月 其他数据库开发大版内专家分月排行榜第三
2007年3月 其他数据库开发大版内专家分月排行榜第三
2007年2月 其他数据库开发大版内专家分月排行榜第三
2006年7月 其他数据库开发大版内专家分月排行榜第三
2006年2月 其他数据库开发大版内专家分月排行榜第三
2006年1月 其他数据库开发大版内专家分月排行榜第三
2005年11月 其他数据库开发大版内专家分月排行榜第三
2005年10月 其他数据库开发大版内专家分月排行榜第三
SELECT count(DISTINCT device_uuid) from session where inputtime>='昨天' and inputtime <='今天' AND DEVICE_UUID NOT IN (SELECT deviceid FROM device );
索引情况如何，在inputtime、DEVICE_UUID上建立复合索引
在deviceid上建立索引
只看TA 引用 举报 #6得分 10
收起
收藏 回复
flmh1314

等级：

关注 私信 TA的帖子
mysql中使用not in速度慢的一种原因:字段类型不匹配

SQL并不复杂,大概就是:select 字段 from 表1 where 字段1 not in (select 字段2 from 表2) 其中表1和表2的数量都是几万条,数据量并不大, 技术人员检查了索引,以及用not exists 和left join分别改写都没什么改变. ...

mysql update用not in太慢了_MySQL 加锁和死锁解析

目录产生死锁的必要条件常规锁模式锁的属性锁组合(属性+模式)锁...Insert Intention Lock总结产生死锁的必要条件多个并发事务(2个或者以上)每个事物都持有了锁(或者是已经在等待锁)每个事务都需要再继续持有锁(为...

mysql not in 或in 优化

在mysql 中，not in 或in 优化思路， 利用left join 来优化，类似如下的查询方式   select id from a where id in (select id from b )   如这样的查询方式，在大数据量的情况下，查询很慢，需要改写...

MySQL数据库面试题（2020最新版）

文章目录数据库基础知识为什么要使用数据库什么是SQL？什么是MySQL?数据库三大范式是什么mysql有关权限的表都有哪几个MySQL的binlog有有几种录入格式？分别有什么区别？数据类型mysql有哪些数据类型引擎MySQL存储...

MySQL之——DELETE NOT IN 删除问题

MySQL比较恶心的一个delete in操作 MySQL中 delete from tableA where id not in (1,2,3); 是没有问题的 delete from tableA where id not in (select id from tableB) 也是没有问题的 但是 delete from ...

MySQL：什么时候NOT IN不等于NOT EXISTS

当你想对两个表进行差分运算时，你有两种选择：使用NOT EXISTS 的子查询或者NOT IN 。后者可以说更易于编写，可以使查询方法更加明显。现代数据库系统可以优化两种执行计划从而查询到类似的结果，可以在外部和内部...

Mysql配置文件my.cnf配置及配置参数详解

Mysql配置文件my.cnf 安装了mysql没有my.cnf文件的情况 1、可以把mysql的示例配置文件，如my-medium.cnf拷贝到/etc/my.cnf，再去修改/etc/my.cnf的配置/usr/share/doc/MySQL-server-5.5.38/my-medium.cnf(Example ...

MySQL错误记录（1）--File './binlog.index' not found

昨天感觉慢查询日志较大，然后在/var/log/下面随意创建了一个mysql的slow_log文件，把路径写入了my.cnf文件中。结果今天启动机器发现mysql无法正常启动了。查看日志文件错误如下： 一般发现"13 - Permission...

mysql delete where not in

mysql中  Java代码  delete from sns_hits where id not in （1，2，3）  是没有问题的  Java代码  delete from sns_hits where id not in （select id from ...

linux中mysql用到my.cnf

建立主从关系时用到的my.cnf 主 [root@ha33 ~]# more /etc/my.cnf [mysqld] ...log-bin=binlog #开启二进制日志，二进制日志名为：binlog.000n log-bin-index=binlog.index #二进制 relay-log=/var

mysql not in 如何进行性能优化

如何优化mysql not in : 语句： select A.* from A where A.id not in ( select B.aid from B where B.id !=1 )

mysql my.cnf配置

[client] ######################################################################### # # # MySQL客户端配置 ...

MySQL优化之my.conf配置详解

最近项目不太忙，所以有时间静心来研究下mysql的优化，对于MySQL的设置是否合理优化，直接影响到网站的速度和承载量！同时，MySQL也是优化难度最大的一个部分，不但需要理解一些MySQL专业知识，同时还需要长时间的...

MySQL 错误 “could not be resolved: ..” 和引发的思考

早上的时候发现mysql从库有点异常，看完了从库的日志，也看看主库的error log吧，这一看不得了...2017-06-04 09:29:19 45300 [Warning] IP address '123.206.224.80' could not be resolved: Temporary failure in name

MySQL-count(*) 和 not in 的查询优化

文章目录官方文档优化的原因not in 的优化使用汇总表优化count(*)查询 官方文档 https://dev.mysql.com/doc/ 如果英文不好的话，可以参考 searchdoc 翻译的中文版本 ...

关于Mysql用not in 删除问题

mysql比较恶心的一个delete in操作 mysql中  　delete from tableA where id not in （1，2，3） 是没有问题的 　delete from tableA where id not in （select id from tableB） 也是木有问题的 ...

MySQL之——MySQL5.7以上my.cnf配置文件配置

转载请注明出处：... 简单配置，低配置服务器配置 [client] #客户端设置 port = 3306 socket = /data/mysql/data/mysql.sock default-character-set = utf8mb4 [mysqld] use...

mysql中in与exists效率比较

select * from ecs_goods a where cat_id in(select cat_id from ecs_category);   这条语句适用于b表比a表大的情况 select * from ecs_goods a where EXISTS(select cat_id from ecs_category b where

mysql 查询优化 in 和 not in

select title.id,title.`name` from title where title.id not in (select user_tag.tagid from user_tag ) 可以改为 select title.id,title.`name` from title left join user_tag on user_tag.tagid = title....

Exception in thread "main" org.hibernate.exception.GenericJDBCException: could not execute statement

log4j:WARN No appenders could be found for logger (org.jboss.logging). log4j:WARN Please initialize the log4j system properly. log4j:WARN See ...

mysql 不推荐使用 （is not null） 和 （not in 进行 子查询）,以及它们的替代查询方法

mysql 的查询中，如果使用 （not in 进行 子查询） 或者 （is not null） 后，会让查询速度变得很慢，笔者十分不建议使用。下面有笔者总结的代替方法。 代替 （not in 进行 子查询）：将子查询 转变为 表连接，相关...

mysql关于in/not in 查询替换

在sql 中 采用not in 或者in的话 一般效率都很低并且很慢 一般都采用别的方式替换 一种是用 not in exits(单词忘怎么写了) 一种是用左连接查询 今天我用的是左连接查询解决我的问题 如下 select a.name...

MySQL-配置文件my.cnf参数优化详解

[client] ######################################################################### # # # MySQL客户端配置 ...

转：MySQL 的 my.cnf 文件（解决 5.7.18 下没有 my-default.cnf ）

官网说：从 5.7.18 开始不在二进制包中提供 my-default....经过测试，在 5.7.18 版本中，使用 tar.gz 安装时，也就是压缩包解压出来安装这种，已经不再需要 my.cnf 文件也能正常运行。 my.cnf 文件就是把在命令行...

MySql5.7 配置文件 my.cnf 设置

参考mysql官方文档注释Mysql5.7配置中的常用参数

MySQL5.7配置my.ini文件

mysql配置文件my-default.ini my.ini修改后重启无效，原来是路径错了，记录一下: windows10操作系统下： 由于我们使用MySql 时，需要修改mysql 的 my.ini 的配置文件。 但是 mysql 5.7 的 my.ini 位置并不在 C:\...

警惕 MySql 更新 sql 的 WHERE 从句中的 IN() 子查询时出现的性能陷阱

mer_stage 表有 216423 条记录，DDL：CREATE TABLE `mer_stage`... `STAGE_ID` int(11) NOT NULL AUTO_INCREMENT, `MER_ID` int(11) NOT NULL, `MER_CODE` varchar(16) DEFAULT NULL, `MER_NAME` varchar(80) NOT NU

liunx上安装MySQL没有默认my.cnf文件解决方案

官网说：从5.7.18开始不在二进制包中提供my-...经过测试，在5.7.18版本中，使用tar.gz安装时，也就是压缩包解压出来安装这种，已经不再需要my.cnf文件也能正常运行。 my.cnf文件就是把在命令行上启动MySQL时后面...

mysql的in查询参数限制，多少数据量会造成性能下降？什么时候创建临时表合适？

一、前言       如题所示，博主对这个问题一直模模糊糊的，网上也没一个具体的测试，都是零零散散的提一下，缺少系统的测试。前两天看到csdn的论坛，看到两个大版主，有的说超过300...

mysql配置my.cnf包含innodb配置详解

# 以下选项会被MySQL客户端应用读取。  # 注意只有MySQL附带的客户端应用程序保证可以读取这段内容。  # 如果你想你自己的MySQL应用程序获取这些值。  # 需要在MySQL客户端库初始化的时候指定这些选项。 ...

相关热词 c#dll vb 调用 c# outlook c#修改表数据 c# 子窗体值返给父窗体 c# label 格式化 c# 程序如何控制摄像头 c# 获取运行时间 c#知识点结构图 微软c# c#解析owl