当一个表数据量过多（上千万了）查询时间过长怎么办

guanyelong 2011-10-14 09:15:02

一个很简单的表就7，8个字段，当我用sql查询时很普通的查询没有排序分组。但是查询一次却是很慢，查询大概500多行，用了2分多钟，若程序访问SQL后根本不走SQL语句，请教该如何解决。数据库内存什么的都很正常，我测试了。

...全文

3447 30 打赏收藏转发到动态举报

写回复

30 条回复

切换为时间正序

请发表友善的回复…

发表回复

guanyelong 2011-10-19

打赏
举报

回复

[Quote=引用 7 楼 somethingjack 的回复:]

围观反面教材
[/Quote]
select sum（price）sPrice，sum（score）Score,name,address where age <30 and age>10 and cinemane in('55') group by name,address
这里的 name address price score age 都有索引

哪里反面？

guanyelong 2011-10-19

打赏
举报

回复

[Quote=引用 5 楼 jacksonjian 的回复:]

查询太牛B了。
[/Quote]
select sum（price）sPrice，sum（score）Score,name,address where age <30 and age>10 and cinemane in('55') group by name,address
这里的 name address price score age 都有索引
查询很简单

guanyelong 2011-10-19

打赏
举报

回复

[Quote=引用 3 楼 lhnlyy520 的回复:]

500多行不可能那么慢的，肯定是你处理有问题。
[/Quote]
select sum（price）sPrice，sum（score）Score,name,address where age <30 and age>10 and cinemane in('55') group by name,address
这里的 name address price score age 都有索引

媛爱 2011-10-18

打赏
举报

回复

期待啊！
我上次用了datareater 最后忘了关了！公司的网站死了五分钟！
哎***

暴龙神 2011-10-14

打赏
举报

回复

上代码，最终的查询语句我看看，怀疑你用like "%xxxx%" 语句了，这样的语句不支持索引，如果总量是几千万条记录，估计要慢死了，建议换成 like "xxxx%" 或者 "&xxxx"，这样会提高效率的，如果是int型数据，一定要建立索引，数据库结构很重要的！！

昵称不能为空噢噢噢噢 2011-10-14

打赏
举报

回复

建索引。能不用in关键字就不要用in,等等

md5e 2011-10-14

打赏
举报

回复

建立分区表或分区索引

资料

酷儿 2011-10-14

打赏
举报

回复

楼主肯定是没有建索引然后条件也不对查的时候使用了全表扫描造成的楼主贴你代码出来看看

格桑花 2011-10-14

打赏
举报

回复

实在是想不通为什么会这么慢，但是你确实是遇到了，

弦弦 2011-10-14

打赏
举报

回复

我从100W中查询都用不了3秒

娃都会打酱油了 2011-10-14

打赏
举报

回复

你这个跟查询条件有关，如果有'like %abc%'这种类似的，有索引也无效
还有是否建立的索引
另外就是可以分区存储

五更琉璃 2011-10-14

打赏
举报

回复

大数据库的某些查询得找专人给你写
你这500多条数据...一般想怎么慢都做不到...

萤火架构 2011-10-14

打赏
举报

回复

建立索引试试，不至于这么慢吧

duxer 2011-10-14

打赏
举报

回复

把SQL和索引出来才好判断

k263700343 2011-10-14

打赏
举报

回复

围观我也遇到过类似的问题

七爷 2011-10-14

打赏
举报

回复

同求，我的是100左右的数据，必须有连接分组，同样很慢，100大概在一分钟左右吧
http://topic.csdn.net/u/20111013/17/92b73264-2af8-4589-a0d9-716e5969e368.html

wcj1018_net 2011-10-14

打赏
举报

回复

在数据库中先执行查询语句看看，如果是查询语句的问题，加索引试试
如果数据库中执行很快，程序中访问很忙，那就检查程序代码了

lyplong 2011-10-14

打赏
举报

回复

没道理...咋那么慢咧.优化吧.

SomethingJack 2011-10-14

打赏
举报

回复

围观反面教材

Ny-6000 2011-10-14

打赏
举报

回复

[Quote=引用 4 楼 black2bi 的回复:]
楼主，发上来逻辑出理代码和sql语句上来吗。这样干说。谁知道什么问题
[/Quote]

有道理,上代码才是王道.

加载更多回复（10）

首先对于一个2000W的大表中获取数据，那么速度肯定十相当之慢 60W临时表创建的大约需要2-3S ，查询只需要200-400ms ,所以大数据量的情况下，我们可以直接使用创建一个临时表来处理该数据，那么就不需要直接去查询大表几千万的数据，那样速度很慢。然后我们抽取出来创建临时表，创建表只需要2-3S 那么再进行查询这个临时表，更快只需要200-400ms，因为已经抽取出来部分数据，数据量已经减少。具体的sql代码 - 创建临时表 create TEMPORARY table dsp_1622

欢迎大家关注公众号「JAVA前线」查看更多精彩分享文章，主要包括源码分析、实际应用、架构思维、职场分享、产品思考等等，同时欢迎大家加我微信「java_front」一起交流学习 1 文章概述在业务发展初期单表完全可以满足业务需求，在阿里巴巴开发手册也建议：单表行数超过500万行或者单表容量超过2GB才推荐进行分库分表，如果预计三年后数据量根本达不到这个级别，请不要在创建表时就分库分表。但是随着业务的发展和深入，单表数据量不断增加，逐渐成为业务系统的瓶颈。这是为什么呢？从宏观层面分析任何物体都必然有其.

在开发的过程中，在admin管理站点遇到一个全部由外键组成的表，这个表关联的多个表的数据量都比较庞大，在点击添加的时候，django会默认把这些表的数据全部给加载出来后才会响应，导致响应时间过长。在尝试了多种方法后，终于发现了一个方法可以很有效的解决这个问题。那就是 raw_id_fields = ['tablename'] 这个可以让关联的表的数据暂时不加载等你需要的时候才加载...

百万级数据量，千万级数据量是多少？这里的百万级，千万级，针对数据库，指的是表的数据条数。有时也指并发事务量。海量数据的优化方案 Note：具体优化要结合自身的业务特性百万级：这个数据量基本上大家都经历过，也能感知一些性能问题显露出来了，这个阶段的优化几乎是最重要的，因为到后期千万级，甚至亿级别的阶段，数据库几乎无法动弹，可调整性很低。下面主要以字段，索引，sql 编写三方面优化：字段选择优化索引设计优化：空间换时间的优化策略，基本上根据业务需求设计...

对数据库操作：创建唯一索引前：查询用户表索引：SHOW INDEX FROM 测试查询用户表，看查询是否走索引：EXPLAIN SELECT * FROM hd_user WHERE username = ‘handsome’未走索引，type为all，全表扫描，当数据量多时速度极慢。给用户名字段创建唯一索引：ALTER TABLE ADD UNIQUE()再次查询用户表索引：SHOW INDEX FROM 用户名字段唯一索引创建成功测试查询用户表，看查询是否走索引：EXPLAIN SELECT *

62,046

社区成员

669,049

社区内容

发帖

与我相关

我的任务

javascript云原生企业社区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

.NET 社区是一个围绕开源 .NET 的开放、热情、创新、包容的技术社区。社区致力于为广大 .NET 爱好者提供一个良好的知识共享、协同互助的 .NET 技术交流环境。我们尊重不同意见，支持健康理性的辩论和互动，反对歧视和攻击。

希望和大家一起共同营造一个活跃、友好的社区氛围。

试试用AI创作助手写篇文章吧

+ 用AI写文章