对于表拥有500万行以上数据，如何提高查询效率

ykdrj 2011-04-14 07:49:24

公司有一张tb1数据，500万行以上（以后还会增加）

查询一些数据经常需要left join到这张tb1来匹配一些字段，效率非常低

我4G内存，查一下1分钟左右才出结果，并且SQL占满了我4G内存

此表没有ID主键，其实都是一些用户信息，字段有三五十个

...全文

276 5 打赏收藏转发到动态举报

写回复

5 条回复

切换为时间正序

请发表友善的回复…

发表回复

rucypli 2011-04-14

打赏
举报

回复

重新设计表

vivai2010 2011-04-14

打赏
举报

回复

[Quote=引用 3 楼 fredrickhu 的回复:]
对经常查询的字段加索引

如果数据量更大的话考虑分区表
[/Quote]
+

--小F-- 2011-04-14

打赏
举报

回复

对经常查询的字段加索引

如果数据量更大的话考虑分区表

dawugui 2011-04-14

打赏
举报

回复

[Quote=引用楼主 ykdrj 的回复:]
公司有一张tb1数据，500万行以上（以后还会增加）

查询一些数据经常需要left join到这张tb1来匹配一些字段，效率非常低

我4G内存，查一下1分钟左右才出结果，并且SQL占满了我4G内存

此表没有ID主键，其实都是一些用户信息，字段有三五十个
[/Quote]
1.对相关字段建立索引.
2.合理优化查询语句.
3.提高硬件配置.

SQL语句优化汇总
http://topic.csdn.net/u/20080716/11/2317d040-48e7-42da-822e-040b4c55b46d.html

ztxneter 2011-04-14

打赏
举报

回复

合理建立字段数据类型，给链接，where字段建立相关的索引，复合索引，，只查询需要的列，只查询需要显示的记录条数，语句优化。

本课程是《从编程小白到量化宗师之路》系列的一个实战课程。本课程宗旨是缩短个人和小型结构投资者和大型机构投资者的差距。课程内容从：使用backtrader回测框架进行经典策略：一目均衡表(日本云图)的策略开发，将策略应用到zz500只股票上面，得到运行结果。课程注重实战，学员上课后，可以达到：能够自行继续研发新的策略。将策略研究过程带到短期，中期交易策略中，提高盈利机会。课程使用数据来源于两个早期课程：股票数据下载课程 https://edu.csdn.net/course/detail/24720 期货tick数据收集整理课程 https://edu.csdn.net/course/detail/24783BackTrader基础 https://edu.csdn.net/course/detail/24721课件中包含一些数据，当然同学们也可以使用自行收集的数据。

大数据查询缓慢的优化方案

补漏知识点前言：补充了数据结构和算法、设计模式、spring MVC等内容并对很多知识点进行了深入的剖析，例如hashCode方法的设计、垃圾收集、并发编程、数据库事务等。 1 数据类型：Java中的基本数据类型只有8个：byte(8)、short(16)、int(32)、long(64)、float(32)、double(...

【转】 https://uule.iteye.com/blog/2037913 什么时候使用临时表？在SQL Server的性能调优中,如何在一段需要长时间的代码或被频繁调用的代码中处理临时数据集,表变量和临时表是两种选择。临时表是有它的作用的,但不能滥用,当一个查询涉及很多表时,查询的笛卡尔积是非常大的,单纯的用索引可能解决不了查询时间的问题.这个时候可以用临时表,将一个查询分成多步完成,...

分页查询优化方案总结一、常用分页查询（1）未用索引（2）使用索引二、分页查询优化1 最大id查询法2 between and3 limit id4 延迟关联5 分表查询6 索引7 缓存函数、扫描记录过多等都会影响查询的速度，如果提高sql语句的查询速度是至关重要的。一、常用分页查询（1）未用索引对于小数据量的表，我们经常采用(select * from table limit x,y)的形式来完成分页查询。例如： select * from areas limit 0,20; （第一页） se

34,590

社区成员

254,589

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章