深入理解SQL Server查询优化器–构造执行计划(PART I)

kinzent 2012-12-18 09:06:57
加精
SQL Server的优化器对大部分人来说是非常神秘的,现在我们就来看看优化器是如何建立一个可执行的计划,以及其使用的规则。为了说明优化器执行的过程,我们将会通过逐步施加必要的规则的设置,来产生更好的执行计划。

下面是一个简单的查询(使用AdventureWorks示例数据库),显示了在数据仓库中每个产品的总数目:


SELECT
P.ProductNumber,
P.ProductID,
total_qty = SUM(I.Quantity)
FROM Production.Product P
INNER JOIN Production.ProductInventory AS I ON
I.ProductID = P.ProductID
WHERE
P.ProductNumber LIKE N'T%'
GROUP BY
P.ProductID,
P.ProductNumber;

在SQL Server命中查询优化器前,SQL Server已经为解析和绑定查询做了一大堆工作。但当开始解析和绑定查询时,完成了一棵由逻辑关系操作符组成的树,如下:





优化器需要把这棵树转化为可以被查询处理器(Query Processor)执行的计划。如果查询优化器除了转化逻辑关系运算符为它找到的第一个有效形式外,而没做其他事情,我们会得到这样的计划:





这个可执行计划有两个全表扫描(full table scan),一个笛卡尔积(Cartesian),一个在两个谓词上的过滤器(Filter),以及一个聚合(aggregate)。要产生最优的查询计划,有一个很长的路要走,但它毕竟产生正确的结果了。 (这边的Compute Scalar,是确保SUM汇总在没有行被处理时返回NULL而不是零)。

匹配和应用规则
优化器通过更换逻辑运算为它所知道的对应的物理操作来生成整个执行计划。这种类型的转换是由优化器内部通过实施一系列规则来完成的。例如,逻辑运算的“INNER JOIN”,对应的物理操作则是嵌套循环(Nested Loops)(还存在merge和hash join的规则

)。

上面所展示的从逻辑树到执行计划的图中,优化器共匹配和执行了5个规则:

1,GET 转化为扫描(scan)
2,Join 转化为嵌套循环(nested loop)
3,SELECT转化为过滤器(Filter)
4,Group by Aggregate 转化为 stream aggregate
5,Group by Aggregate 转化为 Hash aggregate



第一条规则取代的逻辑表扫描得到的。第二条规则实现的逻辑连接使用如前面提到的嵌套循环。第三把所有的谓词(包括联接谓词)转化为一个过滤器操作。第四和第五条规则代表了两种可供选择的策略来让物理操作层面执行聚集。在这种情况下,优化器根据成本选择了一个流聚合在一个哈希聚合。

好了,如果它产生的那种计划定期,没有人会购买SQL Server。幸运的是,还有很多其他优化器可以使用的规则,事实上有近四百种规则。不过,查询优化器产生这样一个令人沮丧的计划,是因为十多个单独的规则被关闭,我们是特意这样做的。

随着更多的规则被实施,我们会发现有许多勘探(exploration)和替代(substitution)规则。这些会基于数学等价或启发式

将逻辑请求变换成等价的形式。例如,“join Commute”是条勘探规则。这条规则的事实表明了A JOIN B等同于B JOIN A(内部联接)。

优化器同样也有简化的规则和强制的规则。通过应用所有这些规则,会产生相关替代策略,其中最好的将被纳入最后的计划。

改进计划
上面的可执行计划的一个明显的不足之处是,它在的两个源表过滤器上执行了笛卡尔乘积。此时,评估联接谓词的同时进行物理连接,其实会更有效。执行此任务的规则被称为SELonJN(SELECT JOIN)。需要强调的是,这不是T-SQL SELECT语句,它是SELECT关系操作:应用于行的过滤器。使SELonJN优化规则,我们可以得到一个更好的计划:




笛卡尔乘积已经换成了一个更为正常的Nested Loops运算符,这是一个将过滤器移入联接谓词的结果(去掉了filter)。事实上,过滤器运算符完全消失 – 谓词“ProductNumber LIKE’T%”没被解析吗?其实它也被往后推了 – 所有Product表扫描的由来。
这仍然不是一个好的计划:我们每一次从Product表中的找到每一行相匹配的ProductNumber谓词时,就要扫描整个Inventory表。我们需要知道非聚集索引的规则 — 简单的将一个GET转化为表扫描所依赖的基本规则。应用一些更多的规则后,我们产生如下执行计划:

这一个是好一点了,我们现在使用了正确的非聚集索引,但这个谓词被应用为扫描了 – 而不是我们希望的索引查找(index seek)。再应用一些另外的规则后,我们将会得到了一个非常有效的执行计划。

敬请期待。

除非注明,本站文章均为原创或编译,转载请注明: 文章来自sqlpub.net
...全文
3276 72 打赏 收藏 转发到动态 举报
写回复
用AI写文章
72 条回复
切换为时间正序
请发表友善的回复…
发表回复
u010009545 2013-04-02
  • 打赏
  • 举报
回复
谢谢分享
hyde100 2013-03-31
  • 打赏
  • 举报
回复
关注下,慢慢看。。。
gotopause 2013-03-30
  • 打赏
  • 举报
回复
谢谢楼主赐教
极品老土豆 2013-03-28
  • 打赏
  • 举报
回复
麦兜NC粉 2013-03-28
  • 打赏
  • 举报
回复
好文 好好看看
山城忙碌人 2012-12-30
  • 打赏
  • 举报
回复
我也在学执行计划,但这扁文章我看不懂,但还是收藏了!
shuzhongxunyu 2012-12-30
  • 打赏
  • 举报
回复
写得很好啊。。。
zhaofeng365 2012-12-29
  • 打赏
  • 举报
回复
同感:写的太好了,支持LZ解释底层运行的文章,不顶过意不去
lyzddd 2012-12-28
  • 打赏
  • 举报
回复
收藏学习
qcj0_0_0 2012-12-27
  • 打赏
  • 举报
回复
fenghuarong1990 fenghuarong1990等级: 结帖率:0% #58 得分:0 回复于: 2012-12-27 11:25:10 收益了
fenghuarong1990 2012-12-27
  • 打赏
  • 举报
回复
收益了,很牛叉的东西
zhaolitian568 2012-12-27
  • 打赏
  • 举报
回复
学习啦。这个值得学习 没办法积分
hpgc99 2012-12-26
  • 打赏
  • 举报
回复
摸石头不过河 2012-12-26
  • 打赏
  • 举报
回复
值得学习,收藏
chan91 2012-12-26
  • 打赏
  • 举报
回复
收藏,留之后用
零度弥合 2012-12-26
  • 打赏
  • 举报
回复
我菜鸟 请问什么是AdventureWorks示例数据库??? 在哪里能找到???
KLL 2012-12-25
  • 打赏
  • 举报
回复
jfzr!!!
leochan90 2012-12-25
  • 打赏
  • 举报
回复
好牛逼的样子,各种看不懂,菜鸟。
vul38cj8 2012-12-24
  • 打赏
  • 举报
回复
顶起!好文章啊!好好学习啊
joyica 2012-12-24
  • 打赏
  • 举报
回复
加载更多回复(40)
内容概要:本文研究了基于Q-Learning自适应强化学习的PID控制器在自主水下航行器(AUV)运动控制中的应用,旨在提升其在复杂海洋环境下的控制性能。通过建立AUV的动力学模型,将Q-Learning算法与传统PID控制相结合,实现控制器参数的在线自适应优化,有效增强了系统的响应速度、稳定性和抗干扰能力。研究采用Matlab进行仿真验证,结果表明该方法在轨迹跟踪与姿态控制方面具有优越表现,为水下机器人智能控制提供了可行的技术路径与理论支持。; 适合人群:具备自动控制理论、强化学习或水下机器人建模背景,从事相关科研工作的研究人员、高校研究生及工程技术开发者。; 使用场景及目标:①应用于高精度、强鲁棒性的水下机器人运动控制系统设计;②开展智能PID控制器在非线性、时变系统中的参数自整定研究;③作为强化学习在复杂工业控制场景中落地的典型案例参考,推动算法与工程实践融合。; 阅读建议:建议结合提供的Matlab代码进行仿真实验,重点剖析Q-Learning与PID融合的架构设计、奖励函数设定及参数收敛过程,可进一步拓展至与其他智能优化算法(如DQN、Actor-Critic)的对比研究,深化对自适应控制机制的理解。
已经博主授权,源码转载自 https://pan.quark.cn/s/a4b39357ea24 Matlab 被视为一种功能卓越的编程平台,特别是在数值运算和数据分析方面展现出广泛的应用价值。在应对多元非线性回归的挑战时,Matlab 拥备多种工具和函数,支持用户对复杂的数据进行构建模型和适配。本指南将重点阐释在 Matlab 环境下如何执行多元非线性回归分析。 我们需要掌握三种关键的回归指令: 1. `polyfit(x,y,n)`:此函数适用于拟合一元幂函数,能够导出一个多项式模型。例如,若知晓数据呈现二次函数形态,可选择`n=2`来适配一个二次曲线。 2. `regress(y,x)`:这是一个多元线性回归指令,能够处理多个自变量对因变量的影响。即便数据并非完全呈现线性特征,该函数也能提供一个线性近似。 3. `nlinfit(x,y,’fun’,beta0)`:这是最为通用的非线性回归指令,适用于适配任何类型的函数,无论是一元或多元,前提是用户能够定义函数形式(`fun`参数)。 回归分析的核心在于寻找一组最优的系数,使得模型能够最恰当地描述数据。这通常涉及选择一个合适的函数形态,随后通过最小化误差平方和来估算系数。在Matlab中,`regress`指令主要用于处理线性模型,而`nlinfit`则处理更为复杂的非线性模型。 对于多元线性回归模型,我们可以用如下形式进行表述: \[ y = \beta_0 + \beta_1x_1 + \beta_2x_2 + \cdots + \beta_px_p + \epsilon \] 其中,\( y \)是因变量,\( x_1, x_2, \ldots, x_p \)是自变量,\( \beta_0, \beta_1, ...
内容概要:本文系统阐述了基于BP神经网络的语音特征信号分类方法,并提供了完整的Matlab代码实现。研究围绕语音信号的数据预处理、特征提取、神经网络结构设计、模型训练与分类测试等核心环节展开,详细展示了BP神经网络在语音识别任务中的应用流程。通过构建多层前馈网络模型,利用误差反向传播算法优化权重,实现了对不同语音类别特征的高效分类,具有较强的工程实践价值和技术可复现性。; 适合人群:具备信号处理与机器学习基础知识,熟悉Matlab编程语言,从事语音识别、模式识别、人工智能等相关领域研究的学生及科研人员;特别适用于开展课程设计、毕业设计或科研项目的初级与中级研究人员。; 使用场景及目标:①深入理解BP神经网络的基本原理及其在语音信号分类中的具体实现过程;②掌握Matlab环境下语音信号特征提取与分类模型构建的全流程技术;③为语音识别、人机交互、智能听觉系统等实际应用场景提供可靠的算法基础与代码参考。; 阅读建议:建议读者结合所提供的Matlab代码逐行分析其实现逻辑,重点关注数据输入格式、网络参数初始化、训练迭代过程及分类性能评估;可通过调整隐含层节点数、学习率、激活函数等超参数,观察模型收敛性与分类准确率的变化,从而深化对神经网络调参策略的理解。

34,875

社区成员

发帖
与我相关
我的任务
社区描述
MS-SQL Server相关内容讨论专区
社区管理员
  • 基础类社区
  • 二月十六
  • 卖水果的net
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧