社区
应用实例
帖子详情
在SQL server中大量数据的存储和查询优化问题
sunshine91
2006-04-21 03:47:45
我最近在做一个系统,需要存储各个行业的信息,数据量很大,需要根据不同行业查询不同信息,
怎么才能提高数据库的性能,和优化查询呢?
或是帮忙给我一个解决的办法或是提供一点资料。
谢谢
...全文
622
7
打赏
收藏
在SQL server中大量数据的存储和查询优化问题
我最近在做一个系统,需要存储各个行业的信息,数据量很大,需要根据不同行业查询不同信息, 怎么才能提高数据库的性能,和优化查询呢? 或是帮忙给我一个解决的办法或是提供一点资料。 谢谢
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
7 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
LIANGQIAN1984
2007-04-26
打赏
举报
回复
mark
lokii
2007-04-19
打赏
举报
回复
mark
lisiyong
2007-03-30
打赏
举报
回复
有篇文章感觉不错
:
优化数据库的思想及SQL语句优化的原则 [转贴 2005-08-18 14:20:05 ] 发表者: chilizy
优化数据库的思想:
================
1、关键字段建立索引。
2、使用存储过程,它使SQL变得更加灵活和高效。
3、备份数据库和清除垃圾数据。
4、SQL语句语法的优化。(可以用Sybase的SQL Expert,可惜我没找到unexpired的
序列号)
5、清理删除日志。
SQL语句优化的原则:
==================
1、使用索引来更快地遍历表。
缺省情况下建立的索引是非群集索引,但有时它并不是最佳的。在非群集索引下,数据在物理上随机存放在数据页上。合理的索引设计要建立在对各种查询的分析和预测上。一般来说:
①.有大量重复值、且经常有范围查询
(between, > ,< ,> =,< =)和order by、group by发生的列,可考虑建立群集索引;
②.经常同时存取多列,且每列都含有重复值可考虑建立组合索引;
③.组合索引要尽量使关键查询形成索引覆盖,其前导列一定是使用最频繁的列。索引虽有助于提高性能但不是索引越多越好,恰好相反过多的索引会导致系统低效。用户在表中每加进一个索引,维护索引集合就要做相应的更新工作。
2、IS NULL 与 IS NOT NULL
不能用null作索引,任何包含null值的列都将不会被包含在索引中。即使索引有多列这样的情况下,只要这些列中有一列含有null,该列就会从索引中排除。也就是说如果某列存在空值,即使对该列建索引也不会提高性能。任何在where子句中使用is null或is not null的语句优化器是不允许使用索引的。
3、IN和EXISTS
EXISTS要远比IN的效率高。里面关系到full table scan和range scan。几乎将所有的IN操作符子查询改写为使用EXISTS的子查询。
4、在海量查询时尽量少用格式转换。
5、当在SQL SERVER 2000中,如果存储过程只有一个参数,并且是OUTPUT类型的,必须在调用这个存储过程的时候给这个参数一个初始的值,否则会出现调用错误。
6、ORDER BY和GROPU BY
使用ORDER BY和GROUP BY短语,任何一种索引都有助于SELECT的性能提高。注意如果索引列里面有NULL值,Optimizer将无法优化。
7、任何对列的操作都将导致表扫描,它包括数据库函数、计算表达式等等,查询时要尽可能将操作移至等号右边。
8、IN、OR子句常会使用工作表,使索引失效。如果不产生大量重复值,可以考虑把子句拆开。拆开的子句中应该包含索引。
9、SET SHOWPLAN_ALL ON 查看执行方案。DBCC检查数据库数据完整性。
DBCC(DataBase Consistency Checker)是一组用于验证 SQL Server 数据库完整性的程序。
10、慎用游标
在某些必须使用游标的场合,可考虑将符合条件的数据行转入临时表中,再对临时表定义游标进行操作,这样可使性能得到明显提高。
总结:
所谓优化即WHERE子句利用了索引,不可优化即发生了表扫描或额外开销。经验显示,SQL Server性能的最大改进得益于逻辑的数据库设计、索引设计和查询设计方面。反过来说,最大的性能问题常常是由其中这些相同方面中的不足引起的。其实SQL优化的实质就是在结果正确的前提下,用优化器可以识别的语句,充份利用索引,减少表扫描的I/O次数,尽量避免表搜索的发生。其实SQL的性能优化是一个复杂的过程,上述这些只是在应用层次的一种体现,深入研究还会涉及数据库层的资源配置、网络层的流量控制以及操作系统层的总体设计。
tipbase
2006-04-22
打赏
举报
回复
问题太笼统。
一般来说要规划好索引,安排好文件分组,留意数据访问的磁盘IO。拆表也是一个比较容易见效的方法。
如果索引多且经常修改的话还要考虑定期重建索引。
Dark13
2006-04-22
打赏
举报
回复
单个表数据大还不如分成当前表和历史表,另外建立一些统计中间表,存放统计好的历史年月数据,统计的时候直接从这些数据中取
另外,明细有分类的话,在明细表和汇总表之间也可以建立分类中间表,不过要注意三个表一定要保持数据一致
sunshine91
2006-04-21
打赏
举报
回复
如果是一本字典存进去,怎么设计数据库呢?
以首字母分建表?
Ji秋风
2006-04-21
打赏
举报
回复
1、建索引。
2、单个表数据量很大,按时间段(如月)分表存储数据,并创建视图提高查询速度。
Win10可用的Microsoft
SQL
Server
2008 Native Client
Win10可用的Microsoft
SQL
Server
2008 Native Client Navicat 操作
数据
库 会用到
Microsoft
SQL
Server
2005技术内幕: T-SQ程序设计.pdf
SQL
Server
2005微软官方权威参考手册 是Inside Microsoft
SQL
Server
2005系列书
中
的第一本,
SQL
Server
类的顶尖之作 全球公认
SQL
Server
2005经典著作,囊括
大量
鲜为人知的技术内幕,大师智慧、专家经验尽览无余。 本系列图书
中
文版得到了微软总部
SQL
Server
组专家的高度重视,同时也得到了微软
中
国上海
SQL
Server
全球技术支持
中
心的高度关注。 本书详细介绍了T-
SQL
的内部构造,包含了非常全面的编程参考。
数据
库开发人员和DBA可以通过书
中
的最佳实践、高级技巧和代码示例来掌握这门复杂的编程语言,以切合实际的方案来解决复杂的
问题
。本书涵盖了T-
SQL
程序设计的方方面面,如基于集合的编程技术、日期和时间相关的XML和CLR
数据
类型的使用、临时对象、T-
SQL
和CLR用户自定义函数、
存储
过程、触发器、事务和新的错误处理结构、应用并发模型支持并发用户、使用Service Broker来控制
数据
库应用程序
中
的异步处理等。 内容简介 本书是Inside Microsoft
SQL
Server
2005系列四本著作
中
的一本。它详细介绍了T-
SQL
的内部构造,包含了非常全面的编程参考。它提供了使用Transact-
SQL
(T-
SQL
)的专家级指导,T-
SQL
是用于
SQL
Server
的最常见的也是功能最强大的编程语言。该书由Itzik Ben-Gan权威执笔,重点关注语言特性以及它们如何被
SQL
Server
引擎解释和处理。 通过本书,你将深入了解T-
SQL
的高级用法,包括触发器、用户自定义函数、异常处理等。该书解释并比较了
SQL
Server
2000和
SQL
Server
2005在
数据
库开发相关
问题
上的解决方案,深入讨论了
SQL
Server
2005
中
新增的T-
SQL
编程特性,包含了
大量
的代码示例、表示例和逻辑难题以帮助
数据
库开发人员和管理员理解复杂的逻辑并掌握T-
SQL
。 本书适合于专业
数据
库开发者、BI开发者、DBA和以
SQL
Server
作为后台
数据
库的一般应用程序开发者,读者可以通过书
中
的最佳实践、高级技巧和代码示例来掌握这门复杂的编程语言,以切合实际的方案来解决复杂的实际
问题
。 作者简介 Itzik Ben-Gan是Solid Quality Learning的导师和创始人。从1999年开始,他一直是Microsoft
SQL
Server
MVP(最有价值专家),并在全世界已经开展过无数次T-
SQL
查询
、T-
SQL
优化
和编程方面的培训。Itzik是Microsoft
SQL
Server
方面几本著作的作者。他在
SQL
Server
Magazine和MSDN上发表了许多文章和白皮书。Itzik被邀请在许多会议上做报告,包括TechEd、DevWeek、世界各地的各种
SQL
用户组、PASS、
SQL
server
Magazine Connections和Solid Quality Learning的会议。 从1992年开始,Itzik就一直致力于涉及各种
数据
库和计算机系统相关技术的多个课题。除了帮助顾客处理紧迫的要求、修复
问题
、
优化
数据
库、教学和担任顾问以外,他还帮助开发人员和
数据
库管理员转变关系/基于集合的理念,改善他们编写代码的性能和可维护性。Itzik擅长T-
SQL
查询
、
查询
优化
、编程和内部原理,此外他还精通其他的
数据
库领域。1999年,Itzik创立以色列
SQL
Server
和OLAP用户组,一直管理至今。 目录 序 前言 致谢 引言 第1章
数据
类型相关的
问题
,XML和CLR UDT 1.1 DATETIME
数据
类型 DATETIME的
存储
格式 时间处理 Datetime相关的
查询
问题
1.2 与字符相关的
问题
模式匹配 区分大小写(Case-Sensitive)的筛选器 1.3 大型对象(Large Object,LOB) MAX 说明符 BULK行集提供程序 1.4 隐式转换(Implicit Conversion) 标量表达式 筛选表达式 1.5 基于CLR的用户定义类型 UDT理论简介 开发UDT 1.6 XML
数据
类型 关系
数据
库
中
的XML支持 什么时候应该使用XML代替关系表现形式?
数据
库
中
的XML序列化对象 使用开放架构(Open Schema)的XML 作为
存储
过程参数的XML
数据
类型 Xquery修改语句 1.7 结论 第2章 临时表和表变量 2.1 临时表 局部临时表 全局临时表 2.2 表变量 限制条件 tempdb 范围和可见性 事务上下文 统计信息 2.3 tempdb相关的注意事项 2.4 表表达式 2.5 比较临时对象 2.6 综合练习——关系分区(Relational Division) 2.7 结论 第3章 游标 3.1 使用游标 3.2 游标开销 3.3 单独处理每一行 3.4 按顺序访问 自定义聚合 连续聚合 最大并发会话 匹配
问题
3.5 结论 第4章 动态
SQL
第5章 视图 第6章 用户定义函数 第7章
存储
过程 第8章 触发器 第9章 事务 第10章 错误处理 第11章 Service Broker 附录A CLR程序指南 A.1 创建CLRUtilities
数据
库:
SQL
Server
A.2 部署:Visual Studio A.3 部署和测试:Visual Studio 和
SQL
Server
索引
中
英文术语对照表
VC +
SQL
SERVER
宾馆管理系统
VC +
SQL
SERVER
宾馆管理系统
My
SQL
Server
5.7(解压版)
My
SQL
Server
5.7(解压版) 安装方法可以查看我的博文: http://blog.csdn.net/caiwenfeng_for_23/article/details/50414480
c#+多年积累的类库(非常全)
c#+多年积累的类库(非常全),分享给大家,XML操作,文件操作,图形操作,
数据
库操作
应用实例
27,580
社区成员
68,545
社区内容
发帖
与我相关
我的任务
应用实例
MS-SQL Server 应用实例
复制链接
扫一扫
分享
社区描述
MS-SQL Server 应用实例
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章