大数据量的表关联筛选数据，如何优化

BigStoneTiger 2017-12-04 10:40:54

A,B,C,D,E,F一共6张表。
1.通过abcd关联查询获取表获取到30w数据
2.通过ef获取到了20w数据
3.如果从30w的数据包含了20w数据，如果通过sql获取到不相同的10w的数据。

试了左外连接，no exists，发现效率特别低，几百秒都没查出来
试了放在程序里剔除，也是很慢很慢，不知道怎么弄了。。。

...全文

486 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

rucypli 2017-12-04

打赏
举报

回复

30w的数据和20w的数据的匹配条件上加索引

Rotel-刘志东 2017-12-04

打赏
举报

回复

通常是没有索引或者索引没有用到导致

zjcxc 2017-12-04

打赏
举报

回复

几十W要几百秒，通常是没有索引导致，用 explain 看下执行计划

先看一下问题，请对比下面两条sql语句，哪种写法更合适？正常情况下我们自然的会写成下面一种，但是当I,J两个表数据量比较大的时候第一种效率要高一点，因为可以在关联A表前筛选掉一部分数据。印象中sql编译器是能自动优化的，但是这种情况下好像没起作用。最后给出建议：数据量大的表尽量不要进行多表关联，关联的表越多，走索引的概率越小。如果数据架构设计不合理，非要一次性从多个大表里面那数...

mysql 对大表关联后再筛选数据

有的时候我们在操作数据库时会将两个或多个数据表关联起来通过一些条件筛选数据，在关联表时我们要遵循一些原则，这样会使我们编写的SQL 语句在效率上快很多。一、优化原则小表驱动大表，即小的数据集驱动大得数据集。在知道什么是小表驱动达大表之前，我们先来了解两个查询关键字，IN 与 EXISTS。我们通过两段查询语句先来了解一下它们的作用。我建立了两张表，一张员工表，一张部门表，员工表中有部门id 这个属性，将这两张表关联起来。我们先使用IN 来查询数据：本文不涉及复杂的底层数据结构，通过explain解释

参考资料了解MySQL联表查询中的驱动表，优化查询，以小表驱动大表 MySql小表驱动大表 MySQL高级知识（十六）——小表驱动大表背景有的时候我们在操作数据库时会将两个或多个数据表关联起来通过一些条件筛选数据，在关联表时我们要遵循一些原则，这样会使我们编写的SQL 语句在效率上快很多。为什么要用小表驱动大表驱动表的定义当进行多表连接查询时， [驱动表] 的定义为：指定了联接条件时，满足查询条件的记录行数少的表为[驱动表] 未指定联接条件时，行数少的表为[驱动表]（Important

一、多表的必要性与多表关联关系 1、为什么需要将数据都存储多张表：：如果将数据都存储在一张表中，字段之间如果部署同一类信息，就会产生大量的数据冗余（重复） 2、外键（foregin key）: :用来描述多张表之间的关联关系的字段 3、表与表之间的关联关系存在三种 1对1 ：外键创建在任何一张表中都是可以的 1对多：外键创建在一方，不要创建在多方（冗余）多对多：外键一般是在一张独立的表中，这张表用来描述其他两张表的关联关系二、多表关联查询如何进行多表关联查询： 1、交叉查询（cross join

56,677

社区成员

56,708

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章