关于临时表在程序中优化查询的问题

qq_31844081 2017-08-21 03:38:15

我现在有一个很复杂的sql,执行很慢,有建议用临时表解决问题。但是从来没有用过临时表，我想问一下,一般的临时表用法是查询插入到临时表，然后数据再次匹配么，那这样的话，岂不是先查询-插入-查询匹配。不是效率更低么。关于这一点，还请大神不吝赐教

...全文

144 2 打赏收藏转发到动态举报

写回复

用AI写文章

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

qq_31844081 2017-08-22

打赏
举报

引用 1 楼 m0_38084879 的回复:

可能是临时表运行在内存里面，普通表运行在硬盘里面，两个的运行速度差距大的原因吧

但是你的临时表数据不还是先查询插入然后在进行操作的么

Love_云宝儿 2017-08-21

打赏
举报

可能是临时表运行在内存里面，普通表运行在硬盘里面，两个的运行速度差距大的原因吧

SQL Server 2005微软官方权威参考手册　　　　是Inside Microsoft SQL Server 2005系列书中的第一本，SQL Server类的顶尖之作　　全球公认SQL Server 2005经典著作，囊括大量鲜为人知的技术内幕，大师智慧、专家经验尽览无余。　　　　　　本系列图书中文版得到了微软总部SQL Server组专家的高度重视，同时也得到了微软中国上海SQL Server全球技术支持中心的高度关注。　　　　　　　本书详细介绍了T-SQL的内部构造，包含了非常全面的编程参考。数据库开发人员和DBA可以通过书中的最佳实践、高级技巧和代码示例来掌握这门复杂的编程语言，以切合实际的方案来解决复杂的问题。本书涵盖了T-SQL程序设计的方方面面，如基于集合的编程技术、日期和时间相关的XML和CLR数据类型的使用、临时对象、T-SQL和CLR用户自定义函数、存储过程、触发器、事务和新的错误处理结构、应用并发模型支持并发用户、使用Service Broker来控制数据库应用程序中的异步处理等。　内容简介本书是Inside Microsoft SQL Server 2005系列四本著作中的一本。它详细介绍了T-SQL的内部构造，包含了非常全面的编程参考。它提供了使用Transact-SQL（T-SQL）的专家级指导，T-SQL是用于SQL Server的最常见的也是功能最强大的编程语言。该书由Itzik Ben-Gan权威执笔，重点关注语言特性以及它们如何被SQL Server引擎解释和处理。　　通过本书，你将深入了解T-SQL的高级用法，包括触发器、用户自定义函数、异常处理等。该书解释并比较了SQL Server 2000和SQL Server 2005在数据库开发相关问题上的解决方案，深入讨论了SQL Server 2005中新增的T-SQL编程特性，包含了大量的代码示例、表示例和逻辑难题以帮助数据库开发人员和管理员理解复杂的逻辑并掌握T-SQL。　　本书适合于专业数据库开发者、BI开发者、DBA和以SQL Server作为后台数据库的一般应用程序开发者，读者可以通过书中的最佳实践、高级技巧和代码示例来掌握这门复杂的编程语言，以切合实际的方案来解决复杂的实际问题。作者简介 Itzik Ben-Gan是Solid Quality Learning的导师和创始人。从1999年开始，他一直是Microsoft SQL Server MVP（最有价值专家），并在全世界已经开展过无数次T-SQL查询、T-SQL优化和编程方面的培训。Itzik是Microsoft SQL Server方面几本著作的作者。他在SQL ServerMagazine和MSDN上发表了许多文章和白皮书。Itzik被邀请在许多会议上做报告，包括TechEd、DevWeek、世界各地的各种SQL用户组、PASS、SQL server Magazine Connections和Solid Quality Learning的会议。从1992年开始，Itzik就一直致力于涉及各种数据库和计算机系统相关技术的多个课题。除了帮助顾客处理紧迫的要求、修复问题、优化数据库、教学和担任顾问以外，他还帮助开发人员和数据库管理员转变关系/基于集合的理念，改善他们编写代码的性能和可维护性。Itzik擅长T-SQL查询、查询优化、编程和内部原理，此外他还精通其他的数据库领域。1999年，Itzik创立以色列SQL Server和OLAP用户组，一直管理至今。目录序前言致谢引言第1章数据类型相关的问题，XML和CLR UDT 1.1 DATETIME数据类型 DATETIME的存储格式时间处理　　Datetime相关的查询问题　1.2 与字符相关的问题　　模式匹配　　区分大小写(Case-Sensitive)的筛选器　1.3 大型对象(Large Object，LOB) 　　MAX 说明符　　BULK行集提供程序　1.4 隐式转换(Implicit Conversion) 　　标量表达式　　筛选表达式　1.5 基于CLR的用户定义类型　　UDT理论简介　　开发UDT 　1.6 XML数据类型　　关系数据库中的XML支持　　什么时候应该使用XML代替关系表现形式？　　数据库中的XML序列化对象　　使用开放架构（Open Schema）的XML 　　作为存储过程参数的XML数据类型　　Xquery修改语句　1.7 结论第2章 临时表和表变量　2.1 临时表 　　局部临时表 　　全局临时表 　2.2 表变量　　限制条件　　tempdb 　　范围和可见性　　事务上下文　　统计信息　2.3 tempdb相关的注意事项　2.4 表表达式　2.5 比较临时对象　2.6 综合练习——关系分区(Relational Division) 　2.7 结论第3章游标　3.1 使用游标　3.2 游标开销　3.3 单独处理每一行　3.4 按顺序访问　　自定义聚合　　连续聚合　　最大并发会话　　匹配问题　3.5 结论第4章动态SQL 第5章视图第6章用户定义函数第7章存储过程第8章触发器第9章事务第10章错误处理第11章 Service Broker 附录A CLR程序指南 A.1 创建CLRUtilities数据库: SQL Server A.2 部署：Visual Studio A.3 部署和测试：Visual Studio 和 SQL Server 索引中英文术语对照表

第一篇 Oracle管理配置第1章 Oracle安装配置（教学视频：10分钟） 23 1.1 Oracle简介 23 1.1.1 数据库术语 23 1.1.2 主流数据库简介 24 1.1.3 Oracle数据库的特点 24 1.2 安装Oracle数据库 25 1.2.1 Oracle数据库的版本变迁及安装环境 25 1.2.2 安装过程 26 1.2.3 安装中需要注意的问题 27 1.3 本章小结 28 1.4 习题 28 第2章 Oracle常用工具（教学视频：7分钟） 29 2.1 Net Configuration Assistant（网络配置助手） 29 2.1.1 监听程序配置 29 2.1.2 命名方法配置 31 2.1.3 本地Net服务名配置 32 2.2 Net Manager（网络管理员） 34 2.3 本章实例 36 2.4 本章小结 38 2.5 习题 38 第3章 SQL Plus和PL/SQL（教学视频：11分钟） 39 3.1 SQL Plus与PL/SQL简介 39 3.2 使用SQL Plus 40 3.2.1 登录SQL Plus 40 3.2.2 SQL Plus输出结果的格式化 41 3.2.3 SQL Plus小结 46 3.3 PL/SQL 46 3.3.1 PL/SQL常用开发工具 46 3.3.2 开发一个简单的PL/SQL程序 48 3.4 本章实例 49 3.5 本章小结 50 3.6 习题 50 第二篇 Oracle数据库对象第4章 Oralce数据库（教学视频：15分钟） 51 4.1 创建Oracle数据库 51 4.2 Oracle数据库的相关术语 52 4.2.1 数据库 53 4.2.2 数据库实例和SID 53 4.2.3 ORACLE_SID 54 4.3 Oracle数据库的备份与恢复 55 4.3.1 逻辑备份/恢复（导出/导入） 55 4.3.2 物理备份/恢复 56 4.3.3 利用PL/SQL Developer备份数据库 60 4.4 本章实例 61 4.5 本章小结 61 4.6 习题 62 第5章 Oracle数据表对象（教学视频：42分钟） 63 5.1 Oracle表空间 63 5.1.1 Oracle表空间简介 63 5.1.2 创建Oracle表空间 64 5.1.3 查看表空间 66 5.1.4 修改数据库默认表空间 67 5.1.5 修改表空间名称 68 5.1.6 删除表空间 69 5.2 创建Oracle数据表 70 5.2.1 利用工具创建数据表 70 5.2.2 利用工具查看数据表 71 5.2.3 利用命令创建数据表 72 5.2.4 利用命令查看表结构 72 5.3 修改Oracle数据表结构 73 5.3.1 利用工具修改数据表结构 73 5.3.2 利用命令修改数据表结构 74 5.4 删除数据表 75 5.4.1 利用工具删除数据表 76 5.4.2 利用SQL语句删除数据表 76 5.5 备份/恢复数据表 76 5.5.1 利用工具备份/恢复数据表 77 5.5.2 利用命令备份/恢复数据表 82 5.6 临时表 83 5.6.1 临时表简介 83 5.6.2 会话级临时表 84 5.6.3 事务级临时表 85 5.6.4 查看临时表在数据库中的信息 86 5.6.5 临时表的应用场景 86 5.7 特殊的表dual 87 5.7.1 分析dual表 87 5.7.2 dual表的应用场景 87 5.7.3 修改dual表对查询结果的影响 88 5.8 本章实例 89 5.9 本章小结 90 5.10 习题 90 第6章约束（教学视频：43分钟） 91 6.1 主键约束 91 6.1.1 主键简介 91 6.1.2 创建主键约束 92 6.1.3 修改表的主键约束 94 6.1.4 主键应用场景 96 6.2 外键约束 97 6.2.1 外键简介 97 6.2.2 创建外键约束 97 6.2.3 级联更新与级联删除 100 6.2.4 修改外键属性 102 6.2.5 外键使用 104 6.3 唯一性约束 105 6.3.1 唯一性约束简介 105 6.3.2 创建唯一性约束 105 6.3.3 修改唯一性约束 107 6.3.4 唯一性约束的使用 108 6.4 检查约束 108 6.4.1 检查约束简介 108 6.4.2 创建检查约束 108 6.4.3 修改检查约束 110 6.4.4 检查约束的使用 111 6.5 默认值约束 111 6.5.1 默认值约束简介 112 6.5.2 创建默认值约束 112 6.5.3 修改默认值约束 113 6.6 本章实例 115 6.7 本章小结 116 6.8 习题 116 第7章视图（教学视频：50分钟） 117 7.1 关系视图 117 7.1.1 建立关系视图 117 7.1.2 修改/删除视图 118 7.1.3 联接视图 120 7.1.4 编译视图 122 7.1.5 使用force选项强制创建视图 124 7.1.6 利用视图更新数据表 125 7.1.7 with check option选项 126 7.1.8 关系视图小结 128 7.2 内嵌视图 128 7.2.1 内嵌视图简介 128 7.2.2 内嵌视图的使用 128 7.2.3 内嵌视图小结 130 7.3 对象视图 131 7.3.1 对象视图简介 131 7.3.2 对象视图简介 131 7.4 物化视图 133 7.4.1 物化视图简介 133 7.4.2 物化视图的使用 133 7.4.3 物化视图的数据加载 135 7.4.4 物化视图的数据更新 135 7.4.5 查询重写 136 7.5 本章小结 136 7.6 本章实例 137 7.7 习题 137 第8章函数与存储过程（教学视频：48分钟） 138 8.1 函数 138 8.1.1 函数简介 138 8.1.2 创建函数 139 8.1.3 函数中的括号 140 8.1.4 函数的参数 141 8.1.5 函数的确定性 142 8.1.6 典型函数举例 143 8.2 存储过程 144 8.2.1 存储过程简介 144 8.2.2 创建存储过程 144 8.2.3 存储过程的参数——IN参数 146 8.2.4 存储过程的参数——OUT参数 147 8.2.5 存储过程的参数——IN OUT参数 149 8.2.6 存储过程的参数——参数顺序 149 8.2.7 存储过程的参数——参数的默认值 152 8.2.8 存储过程的参数——参数顺序总结 153 8.3 程序包 153 8.3.1 规范 153 8.3.2 主体 155 8.3.3 调用程序包中的函数/存储过程 157 8.3.4 程序包中的变量 158 8.4 本章实例 159 8.5 本章小结 161 8.6 习题 161 …… 第9章游标（教学视频：36分钟） 162 第10章触发器（教学视频：58分钟） 178 第11章序列（教学视频：28分钟） 206 第12章用户角色与权限控制（教学视频：45分钟） 215 第三篇 Oracle中的SQL 第13章 Oracle数据类型（教学视频：21分钟） 231 第14章 Oracle中的函数与表达式（教学视频：111分钟） 240 第15章 Oracle中的控制语句（教学视频：16分钟） 282 第16章 SQL查询（教学视频：55分钟） 290 第17章 SQL更新数据（教学视频：34分钟） 319 第四篇 Oracle编程高级应用第18章数据库速度优化与数据完整性（教学视频：32分钟） 332 第19章数据一致性与事务管理（教学视频：46分钟） 341 第20章并发控制（教学视频：35分钟） 356 第21章 Oracle中的正则表达式（教学视频：29分钟） 369 第五篇 Oracle与编程语言综合使用实例第22章 Oracle在Java开发中的应用（教学视频：38分钟） 376 第23章 Oracle在C#开发中的应用（教学视频：12分钟） 391

为什么要学习这门课程？·新一代流式数据湖技术组件深入讲解，帮助你快速构造数据湖知识体系。·为构建湖仓一体架构提供底层技术支撑。本课程将从原理、架构、底层存储细节、性能优化、管理等层面对Paimon流式数据湖组件进行详细讲解，原理+实战，帮助你快速上手使用数据湖技术。讲师介绍华为HCIP认证大数据高级工程师北京猎豹移动大数据技术专家中科院大数据研究院大数据技术专家51CTO企业IT学院优秀讲师电子工业出版社2022年度优秀作者出版书籍：《Flink入门与实战》、《大数据技术及架构图解实战派》。本课程提供配套课件、软件、试题、以及源码。课程内容介绍：1、什么是Apache Paimon2、Paimon的整体架构3、Paimon的核心特点4、Paimon支持的生态5、基于Flink SQL操作Paimon6、基于Flink DataStream API 操作Paimon7、Paimon中的内部表和外部表8、Paimon中的分区表和临时表9、Paimon中的Primary Key表(主键表)10、Paimon中的Append Only表(仅追加表)11、Changelog Producers原理及案例实战12、Merge Engines原理及案例实战13、Paimon中的Catalog详解14、Paimon中的Table详解15、Paimon之Hive Catalog的使用16、动态修改Paimon表属性17、查询Paimon系统表18、批量读取Paimon表19、流式读取Paimon表20、流式读取高级特性Consumer ID21、Paimon CDC数据摄取功能22、CDC之MySQL数据同步到Paimon23、CDC之Kafka数据同步到Paimon24、CDC高级特性之Schema模式演变25、CDC高级特性之计算列26、CDC高级特性之特殊的数据类型映射27、CDC高级特性之中文乱码28、Hive引擎集成Paimon29、在Hive中配置Paimon依赖30、在Hive中读写Paimon表31、在Hive中创建Paimon表32、Hive和Paimon数据类型映射关系33、Paimon底层文件基本概念34、Paimon底层文件布局35、Paimon底层文件操作详解36、Flink流式写入Paimon表过程分析37、读写性能优化详细分析38、Paimon中快照、分区、小文件的管理39、管理标签(自动管理+手工管理)40、管理Bucket(创建+删除+回滚)

最近项目中,有个功能出现点问题,定时任务的excel数据未能发送到客户的email中,经检查原因在于查询超时导致CLR取消了该进程,其中有两张表有近2亿的数据量,而且业务相对比较复杂。将查询一些资料以及和DBA探讨了优化方案,决定先使用临时表试试。本来打算直接切换到clickhouse查询,但时间比较紧急。总结来说就是: 1.创建临时表: 根据你的大表查询需要的字段建立临时表 比如: CREATE TABLE #COMMENT ( score varchar(10),

进行oracle程序性能优化时，还要注意undo空间和临时表空间的使用率，如果过高的话，也会导致程序运行缓慢。一般使用率至少需要小于80%。程序运行中报错：ORA-01652:无法通过128(在表空间TEMP中)扩展temp段。数据库原来没有这个现象，三表关联查询做insert，速度比较慢。后来在查询语句中加了full提示，，就出现了临时表空间不足。查询发现临时表空间的使用率已经达到100%了。i...

Web 开发

81,092

社区成员

341,717

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章