大数据表之间join 的优化

MS-SQL Server > 疑难问题
收藏 回复
[问题点数：20分，结帖人shzhouhuiyu]
更多帖子
私信 空间 博客
shzhouhuiyu
等级
本版专家分：0
结帖率 100%
我最近在做个查询报表，查询速度特别慢，大致是 select * from a join b on b.c1=a.c1 join c on c.c2=b.c2
where （筛选a）
表a特别大，有2KW条记录。
我们经理认为建立临时表把筛选a的记录存放到临时表中，再让临时表来join 表b和表c。
可我认为这样和3个表直接join再where效率是一样的？
另外我认为关键还是执行以下查询时三个表要有合适的索引seek，我想在表a上新建索引以证明我的观点，可这个表实在太大，不敢贸然建立。
select * from  a join b on b.c1=a.c1 join c on c.c2=b.c2
where （筛选a）
请高手们评点下我的想法对不对：先筛选大表a插入到临时表，再用临时表join 表 b和表c根本就没有效率上的优势呢？
只看楼主 引用 举报 楼主 收起
展开阅读全文
更多帖子
私信 空间 博客
小_爱
等级
本版专家分：39001
勋章
Blank
微软MVP 2013年7月 荣获微软MVP称号
2012年7月 荣获微软MVP称号
Blank
红花 2011年8月 挨踢职涯大版内专家分月排行榜第一
2011年3月 扩充话题大版内专家分月排行榜第一
2011年2月 扩充话题大版内专家分月排行榜第一
2011年2月 挨踢职涯大版内专家分月排行榜第一
2011年1月 扩充话题大版内专家分月排行榜第一
2010年12月 扩充话题大版内专家分月排行榜第一
2010年12月 挨踢职涯大版内专家分月排行榜第一
2010年8月 挨踢职涯大版内专家分月排行榜第一
Blank
黄花 2012年9月 扩充话题大版内专家分月排行榜第二
2011年11月 扩充话题大版内专家分月排行榜第二
2011年10月 扩充话题大版内专家分月排行榜第二
2011年9月 挨踢职涯大版内专家分月排行榜第二
2011年7月 挨踢职涯大版内专家分月排行榜第二
2011年4月 挨踢职涯大版内专家分月排行榜第二
2010年6月 挨踢职涯大版内专家分月排行榜第二
Blank
蓝花 2013年6月 扩充话题大版内专家分月排行榜第三
2013年5月 扩充话题大版内专家分月排行榜第三
2011年9月 扩充话题大版内专家分月排行榜第三
2011年8月 扩充话题大版内专家分月排行榜第三
2011年7月 扩充话题大版内专家分月排行榜第三
2011年4月 扩充话题大版内专家分月排行榜第三
2010年7月 挨踢职涯大版内专家分月排行榜第三
a上面建立些索引吧 没有看到你的筛选条件，所以不知道在那个列上合适

用临时表 快不到那里的。
只看TA 引用 举报 #1得分 4
更多帖子
私信 空间 博客
小_爱
等级
本版专家分：39001
勋章
Blank
微软MVP 2013年7月 荣获微软MVP称号
2012年7月 荣获微软MVP称号
Blank
红花 2011年8月 挨踢职涯大版内专家分月排行榜第一
2011年3月 扩充话题大版内专家分月排行榜第一
2011年2月 扩充话题大版内专家分月排行榜第一
2011年2月 挨踢职涯大版内专家分月排行榜第一
2011年1月 扩充话题大版内专家分月排行榜第一
2010年12月 扩充话题大版内专家分月排行榜第一
2010年12月 挨踢职涯大版内专家分月排行榜第一
2010年8月 挨踢职涯大版内专家分月排行榜第一
Blank
黄花 2012年9月 扩充话题大版内专家分月排行榜第二
2011年11月 扩充话题大版内专家分月排行榜第二
2011年10月 扩充话题大版内专家分月排行榜第二
2011年9月 挨踢职涯大版内专家分月排行榜第二
2011年7月 挨踢职涯大版内专家分月排行榜第二
2011年4月 挨踢职涯大版内专家分月排行榜第二
2010年6月 挨踢职涯大版内专家分月排行榜第二
Blank
蓝花 2013年6月 扩充话题大版内专家分月排行榜第三
2013年5月 扩充话题大版内专家分月排行榜第三
2011年9月 扩充话题大版内专家分月排行榜第三
2011年8月 扩充话题大版内专家分月排行榜第三
2011年7月 扩充话题大版内专家分月排行榜第三
2011年4月 扩充话题大版内专家分月排行榜第三
2010年7月 挨踢职涯大版内专家分月排行榜第三
如果使用临时表 

insert into #t select ...from tb where ....
的前提是红色的这一段查询会很快，要不就没必要了。。。。

如果很快，但是#t里面的数据很多 那么可以在#t 上面建立的索引

然后在join
只看TA 引用 举报 #2得分 4
更多帖子
私信 空间 博客
shzhouhuiyu
等级
本版专家分：0
感谢你的回答，我知道这么做。我想知道的问题关键在于大表join和大表中再提取部分数形成小的临时表再join哪个快？
引用 2 楼 beirut 的回复:
如果使用临时表 

insert into #t select ...from tb where ....
的前提是红色的这一段查询会很快，要不就没必要了。。。。

如果很快，但是#t里面的数据很多 那么可以在#t 上面建立的索引

然后在join
只看TA 引用 举报 #3得分 0
更多帖子
私信 空间 博客
老猫五号
等级
本版专家分：3051
勋章
Blank
红花 2012年3月 企业开发大版内专家分月排行榜第一
2012年2月 企业开发大版内专家分月排行榜第一
应该先筛选大表a插入到临时表
只看TA 引用 举报 #4得分 0
更多帖子
私信 空间 博客
老猫五号
等级
本版专家分：3051
勋章
Blank
红花 2012年3月 企业开发大版内专家分月排行榜第一
2012年2月 企业开发大版内专家分月排行榜第一
当然是大表中再提取部分数形成小的临时表再join快
只看TA 引用 举报 #5得分 1
更多帖子
私信 空间 博客
sql77
等级
本版专家分：89386
勋章
Blank
微软MVP 2012年10月 荣获微软MVP称号
Blank
黄花 2010年1月 MS-SQL Server大版内专家分月排行榜第二
2009年11月 MS-SQL Server大版内专家分月排行榜第二
Blank
蓝花 2012年10月 MS-SQL Server大版内专家分月排行榜第三
2010年7月 MS-SQL Server大版内专家分月排行榜第三
2010年3月 MS-SQL Server大版内专家分月排行榜第三
2010年2月 MS-SQL Server大版内专家分月排行榜第三
2009年8月 MS-SQL Server大版内专家分月排行榜第三
加WHERE 条件筛选后A 多大？ 为嘛一定要所有列？？？？

关联条件需要有索引
只看TA 引用 举报 #6得分 1
更多帖子
私信 空间 博客
昵称被占用了
等级
本版专家分：107740
勋章
Blank
红花 2002年2月 MS-SQL Server大版内专家分月排行榜第一
2001年11月 MS-SQL Server大版内专家分月排行榜第一
Blank
黄花 2008年2月 MS-SQL Server大版内专家分月排行榜第二
2007年7月 MS-SQL Server大版内专家分月排行榜第二
2002年3月 MS-SQL Server大版内专家分月排行榜第二
2002年1月 MS-SQL Server大版内专家分月排行榜第二
2001年12月 MS-SQL Server大版内专家分月排行榜第二
Blank
蓝花 2013年2月 MS-SQL Server大版内专家分月排行榜第三
关键是b\c表的数据量以及a与b\c表的对应关系

如果b\c表的数据量不大，而且a与b\c表的对应关系是1对1或者多对1，临时表方法基本无效
如果b\c表的数据量大，或者a与b\c表的对应关系是1对多，临时表方法可能无效，关键看在a表的筛选条件

在大表(a)建立合适的索引永远是优化的第一步，这部分没做好，说其他的都是舍本逐末


只看TA 引用 举报 #7得分 8
私信 空间 博客
jp78070531
等级
本版专家分：25
对，关键看你最大的那块的数据是咋个优化的。关键要用到索引。
只看TA 引用 举报 #8得分 1
更多帖子
私信 空间 博客
大力水手
等级
本版专家分：2563
看从2000万筛选出来的数据有多大..如果筛选出来1500万那完全可以按你像的来...你可以count(1) 一下.where条件不变..看看筛选多少条..如果条数很少..而且筛选的很快的话..感觉还是你老大的办法可行! 大不了给临时表创建索引! 或是 数据量小hash join也应该挺快!
只看TA 引用 举报 #9得分 1
收起
收藏 回复
shzhouhuiyu

等级：

关注 私信 TA的帖子
Asp.net Web Api开发（第四篇）Help Page配置和扩展

1.nuget获取Microsoft.AspNet.WebApi.HelpPage 2.安装完会出来一堆文件Areas 3.去掉注释 4.在App_Data中加个XmlDocument.xml文件 5.WebApiConfig.cs新增方法 6.Global中新增 7.跑起来 ...

关于ASP.NET Web Api的HelpPage文档注释问题

关于ASP.NET Web Api的HelpPage文档注释问题 以前我用微软的HelpPage来自动生成的webAPI帮助文档。在使用了一段时间后发现只能显示Controller上面写的注释文档内容。以前总以为是微软这个类库的bug。后来才明白了...

ASP.Net WebAPI中添加helppage帮助页面

一、自动创建带帮助的WebAPI 1、首先创建项目的时候选择WebAPI,如下图所示，生成的项目会自动生成帮助文档。 2、设置调用XML文档的代码 3、设置项目注释XML文档生成目录，项目——属性——生成——勾选生成...

Asp.net Web Api开发Help Page 添加对数据模型生成注释的配置和扩展

webapi框架下提供了一种自动生成文档的help Page页的功能。 但是原始版本的效果不是很好,最重要的一点是没有对数据模型的详细注解提供展示。这种请情况下需要我们自己对其进行拓展,方便显示出接口和数据模型注解，...

ASP.NET WebAPI开发实例

一、环境搭建 打开VS2012， IDE版本为Visual Studio Ultimate 2012 文件 - 新建项目 - Visual C# - Web – ASP.NET MVC4 Web 应用程序...选择联机 – 搜索webapi – 安装webapi2.2 – 安装webapi2.2helppage ...

ASP.NET Web API项目自动生成接口文档和测试页面

在开发接口的时候，写接口文档已是一件不可忽视的事情，有了更新也要同步更新很麻烦。...创建Web API项目请参考：ASP.NET 使用Swagger开发Web API接口项目这里我们以WebAPI项目为例。修改默认的API路由配置为...

ASP.NET Core Web API 帮助页

Windos系统下使用 ASP.NET Core 系统必备 详情查看https://docs.microsoft.com/zh-cn/aspnet/core/tutorials/first-web-api?view=aspnetcore-2.1 具有以下工作负载的 vs2017 15.7.3版或者更高版本: ASP.NET 和 ...

ASP.NET MVC5+EF6+EasyUI 后台管理系统-WebApi的用法与调试

1：ASP.NET MVC5+EF6+EasyUI 后台管理系统（1）-WebApi与Unity注入 使用Unity是为了使用我们后台的BLL和DAL层 2：ASP.NET MVC5+EF6+EasyUI 后台管理系统（2）-WebApi与Unity注入-配置文件 3：ASP.NET MVC5+EF6+E....

asp.net web api帮助文档的说明

asp.net web api帮助文档的说明

asp.net webapi 自托管插件式服务(转）

　webapi和mvc在asp.net5时代合体了，这告诉我们，其实 它俩还是有区别的，要不现在也不会取两个名字，但是由于本人归纳总结能力较差，各种不同也无法一一列出了。 　在webapi中HelpPage是个突出而又实用的东西，...

ASP.NET Web API系列教程（目录）

注：微软随ASP.NET MVC 4一起还发布了一个框架，叫做ASP.NET Web API。这是一个用来在.NET平台上建立HTTP服务的Web API框架，是微软的又一项令人振奋的技术。目前，国内

.Net WebApi入门简单基础认识（自动生成api文档和简单测试）

关于WebApi网上有很多官方的定义，具体的定义就不写了，这篇文章大概介绍一下WebApi的基础搭建。。关于我自己对WebApi的... 选择新建asp.net项目，选择WebApi模板，其他默认就可以了！ 新建出来咋一看跟MVC的结...

ASP.NET WebAPI在线接口文档HelpPage和Swagger实战演练手册

项目使用采取前后端分离的方式，后台提供API接口给前端开发人员。这个过程中遇到一个问题后台开发人员怎么提供接口说明文档给前端开发人员,最初打算使用word或markdown等文档方式进行交流，实际操作中却很少动手去...

ASP.NET Web API系列教程目录

ASP.NET Web API系列教程（目录） 注：微软随ASP.NET MVC 4一起还发布了一个框架，叫做ASP.NET Web API。这是一个用来在.NET平台上建立HTTP服务的Web API框架，是微软的又一项令人振奋的技术。目前，国内对此...

.NET Core POCOController在动态Web API中的应用

在上一篇文章中，我和大家分享了ASP.NET中动态Web API的实现，这种方案的现实意义是，它可以让我们把任意一个接口转换为Web API，所以，不单单局限在文章里提到的WCF迁移到Web API，任意领域驱动开发(DDD)中的服务层...

ASP.NET Web API 2个步骤启用 Help 说明

Web API2 Help Page 说明2个步骤启用

asp.net webAPI 加注释生成帮助文档和测试demo

转自https://blog.csdn.net/a123_z/article/details/71078062 1：配置 接口注释。...（2）在xml的读取路径：在Areas\HelpPage\App_Start\HelpPageConfig.cs里面配置xml的读取路径。 config.Se...

ASP.net教程]启用WebApi 2里的Api描述信息(Help下的Description

问题:默认情况下新建的Web Api 2项目,自带的Help页下会显示Api的相关信息,但Description那一栏无法获取到数据,如下图所示: 解决: 1.先启用输出的 在web api项目上右击->属性,在属性页"生成"标签下...

ASP.NET Web API 2系列(三)：查看WebAPI接口的详细说明及测试接口

前边两篇博客介绍了Web API的基本框架以及路由配置，这篇博客主要解决在前后端分离项目中，为前端人员提供详细接口说明的问题，主要是通过修改WebApi HelpPage相关代码和添加WebApiTestClient组件实现WebAPI接口详细...

ASP.NET WebAPI 生成帮助文档与使用Swagger服务测试

Web API 2 中已经支持很方便的实现了这一特性 http://www.asp.net/web-api/overview/creating-web-apis/creating-api-help-pages  Nuget获得 Install-Package Microsoft.AspNet.WebApi.HelpPage 安装完成后...

asp.net中的web api使用(非mvc程序)

using System; using System.Collections.Generic;...using System.Web; using System.Web.Http; using System.Web.Mvc; using System.Web.Security; using System.Web.SessionState; namespace W...

如何处理asp.net的webapi项目的测试环境与生产环境的help页面可见/不可见问题。

asp.net webapi网站要部署到生产环境时，有时我们不希望别人能够看到这些接口列表等信息，如何隐藏这些页面呢？

visual studio 2015中的webapi生成helpPage，页面不显示方法说明问题解决

环境： vs2015、win7 ... 生成的help页面如下：，并没有显示...原因是：新建项目时候没有勾选Web Api,webapi是后来添加的。缺少App_Start下的WebApiConfig.cs文件，如下。要显示Action，更改为routeTemplate: "api/{c...

ASP.NET Web API 帮助（help）页面上没有 Test API按钮的解决方法

参与一个web API项目时发现它的help页面特别好用，不仅可以根据webapi的方法和注释自动生成帮助文档以方便查阅，还可以在这个页面上测试webapi方法。于是在自己新建项目时也打算将这个help页面用起来。在实际操作中...

asp.net webapi中helppage

今天研究了下webapi，发现还有自动生成接口说明文档提供测试的功能 参考：https://docs.microsoft.com/en-us/aspnet/web-api/overview/getting-started-with-aspnet-web-api/creating-api-help-pages 转载于:...

如何将一个 ASP.NET MVC 4 和 Web API 项目升级到 ASP.NET MVC 5 和 Web API 2

----转自微软官网www.asp.net/mvc/ ASP.NET MVC 5 和 Web API 2 带来的新功能，包括属性路由、 身份验证筛选器，以及更多的主机。请参阅http://www.asp.net/vnext更多详细信息。 本演练将指导您升级到最新版本...

嵌入式工程师养成计划之——嵌入式软件工程师完全学习指南

本系列课程针对有意向学习嵌入式软件开发的童鞋，从零开始、深入浅出，内容涵盖：linux系统基础、shell、linux C编程、linux系统编程、网络编程、ARM体系结构及汇编语言、ARM裸机编程、linux系统移植、linux驱动开发等模块。分多个子课程逐步学习。 本课程是全套课程的第0部（前传），目的是讲解我们的整个视频学习体系路线图，同时也会对大家学习路线的一个指引。 本期课程共计4节课，主要回答了何为嵌入式、为何要学习嵌入式、什么人适合学嵌入式、究竟应该怎样去学嵌入式等问题。最后为大家详细介绍了我们的嵌入式软件工程师学习路线图，希望能够对大家的嵌入式学习之路有所指引。

一维热传导方程数值解法及matlab实现

含matlab程序，个人感觉很有帮助，在研究传热学的可以下来看看

论文研究-含违约风险参量的信贷决策模型.pdf

论文研究-含违约风险参量的信贷决策模型.pdf,

2020数学建模A题

2020数学建模国赛A题及其数据 2020数学建模国赛A题及其数据2020数学建模国赛A题及其数据 2020数学建模国赛A题及其数据 2020数学建模国赛A题及其数据 2020数学建模国赛A题及其数据 2020数学建模国赛A题及其数据

相关热词 c#怎么创建文件夹 c#从键盘接收空格 c#da/ad c#服务器socket c# 默认的访问修饰符 c#拖动文件 c# 截取指定窗口屏幕 c# html对象传后台 c# 判断域名还是ip c#遮罩层