大量数据查询时的效率问题!

poseidonczq9 2005-11-17 08:43:49
表1: T1
num(int) c1(nvarchar) c2(nvarchar)
1 数据1 数据2
2 数据3 数据4

其中num在T1中是主键
表2: T2
num(int) cc(nvarchar) vv(nvarchar)
1 数据5 数据6
1 数据7 数据8
2 数据9 数据10
2 数据11 数据12

在对于两个表做如下查询的时候
查询1:
select * from T1
where (c1 like '%查找%') or (c2 like '%查找%')
or num in (select num from T2 where vv like '%查找%')

查询2:
select * from T1 where (c1 like '%查找%') or (c2 like '%查找%')

select * from T1
where num in (select num from T2 where vv like '%查找%')
查询1:直接生成的DataTable
查询2:生成的两个DataTable经过合并去掉重复的记录生成的DataTable,那个效率高一点

大部分的朋友认为查询1比较快,但是在100万条数据的查询时在查询分析器中需要6秒,存储过程中要3秒,要是可以的话能不能有改进的方法使查询速度再提高一点!
还有一点很奇怪,同样的数据库我在查询分析器中分别执行查询2的两个语句时都是用了1秒。这是为什么?难道查询2的效率反而高吗?
...全文
291 9 打赏 收藏 转发到动态 举报
写回复
用AI写文章
9 条回复
切换为时间正序
请发表友善的回复…
发表回复
Bytexu 2005-11-21
  • 打赏
  • 举报
回复
可以试试根据倒排索引的原理建立查询。
searoom 2005-11-18
  • 打赏
  • 举报
回复
select *
from T1 as A
where (c1 like '%查找%')
or (c2 like '%查找%')
or Exists(select num from T2 as B where B.vv like '%查找%' and A.num=B.num)

这样优化一下应该会快点 :)

其实,如果数据量真的是很大的话,楼主应该考虑一下是否可以不使用 like 查询,或者 like '查找%' 也行,意思就是让查询充分利用 数据库的索引功能
poseidonczq9 2005-11-18
  • 打赏
  • 举报
回复
还是不够快啊!
还有没有别的好点的方法啊!
searoom 2005-11-18
  • 打赏
  • 举报
回复
上面那条语句应该把 A.num=B.num 放在 like 查询的前面!

如果你的数据量真的很大,而又真的有必要使用 like 查询的话,那么应该建立全文检索,否则的话,速度很难快的起来
poseidonczq9 2005-11-18
  • 打赏
  • 举报
回复
to searoom(海龙):谢谢你的回答
不过试过了你的方法和第一种查询的效率是一样的(执行时间和效率分析都一样),因为我的查找有可能要用到信息的全文检索。不知道还有没有别的方法啊!


to lindaolong(风子):这样的查询因为我的T1 和T2是1对多的关系,把所有的表链接起来的效率实在是太低了!
tangchao515 2005-11-17
  • 打赏
  • 举报
回复
2的效率高,你自己都测试了嘛。电脑是很笨的,它不会骗你,呵呵。
lindaolong 2005-11-17
  • 打赏
  • 举报
回复
使用in的话查询很慢,特别是大量数据的时候
lindaolong 2005-11-17
  • 打赏
  • 举报
回复
select * from T1,T2 where ((T1.num = T2.num) and (T2.vv like '%查找%'))or(T1.c1 like '%查找%')or(T1.c2 like '%查找%')
skylion 2005-11-17
  • 打赏
  • 举报
回复
按Ctrl+L,做一下成本分析就更客观咯!
什么是数据仓库呢?数据仓库是一个为数据分析而设计的企业级数据管理系统。数据仓库可集中、整合多个信息源的大量数据,借助数据仓库的分析能力,企业可从数据中获得宝贵的信息进而改进决策。同,随着间的推移,数据仓库中积累的大量历史数据对于数据科学家和业务分析师也是十分宝贵的。 数据仓库建模的意义是什么呢?如果把数据看作图书馆里的书,我们希望看到它们在书架上分门别类地放置;如果把数据看作城市的建筑,我们希望城市规划布局合理;如果把数据看作电脑文件和文件夹,我们希望按照自己的习惯有很好的文件夹组织方式,而不是糟糕混乱的桌面,经常为找一个文件而不知所措。数据模型就是数据组织和存储方法,它强调从业务、数据存取和使用角度合理存储数据。只有将数据有序的组织和存储起来之后,数据才能得到高性能、低成本、高效率、高质量的使用。 数据仓库建模的最终目的是什么呢?高性能:良好的数据模型能够帮助我们快速查询所需要的数据。低成本:良好的数据模型能减少重复计算,实现计算结果的复用,降低计算成本。高效率:良好的数据模型能极大的改善用户使用数据的体验,提高使用数据效率。高质量:良好的数据模型能改善数据统计口径的混乱,减少计算错误的可能性。 本课程将基于理论和实践讲解数据仓库,包含基础知识:数据仓库建模方法论、数据仓库分层模型、数据仓库构建流程、事实表、维度表、指标体系、拉链表、维度模型等 ,基于真实电商业务作为实战,讲解电商数仓的整个构建过程,让大家在实战中理解和掌握数仓的理论知识。

27,580

社区成员

发帖
与我相关
我的任务
社区描述
MS-SQL Server 应用实例
社区管理员
  • 应用实例社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧