为什么数据仓库重复查询时间变少？

Serendipity 2002-07-06 08:56:54

我用SQL Server2000建了个数据仓库，同时我也建了一个数据库，数据仓库是在所建的数据库基础上建立的。现在我分别用数据库和数据仓库查询同一张表，为什么数据仓库在对同一数据重复查询时时间只有0.01秒左右，而数据库对同一数据重复查询时间上和第一次查询的时间几乎一样为8、9秒左右？

...全文

28 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

statement 2002-07-09

打赏
举报

回复

两种结构都不一样，datawarehouse的索引结构优于database，他也做了一定的聚合，因此会比DB快的原因

「已注销」 2002-07-07

打赏
举报

回复

我想的是，0.01秒左右大概是所需数据已经存于内存中了，可是这一般是操作系统的作用，为什么数据库就没有将数据存于内存中呢？它们在同一个操作系统下运行的呀？？？

bi2002 2002-07-07

打赏
举报

回复

这大概就是多维查询比关系查询要快一点吧，不过要具体情况具体分析。

为什么需要数据仓库？传统的数据库中，存放的数据都是一些定制性数据较多，表是二维的，一张表可以有很多字段，字段一字排开，对应的数据就一行一行写入表中，特点就是利用二维表表现多维关系。但这种表现关系的上限和下限就定死了，比如QQ的用户信息，直接通过查询info表，对应的username、introduce等信息即可，而此时我想知道这个用户在哪个时间段购买了什么？修改...

你是否曾经好奇过,当你在网上购物或使用手机应用时,背后的数据是如何被存储和分析的?答案就在数据仓库中。本文将为你揭开数据仓库的神秘面纱,深入探讨其核心组成部分,以及这些组件如何协同工作,将海量数据转化为有价值的商业洞察。

数据倾斜: 是指在数据分布过程中, 某些数据节点 (分区或任务) 上的数据量远远多于其它节点, 导致任务的执行时间取决于最慢的节点;某字段值过于集中 (如用户ID中大量重复值);数据分区方式导致某些分区存储了过多的数据;键值分布不均匀, 聚合或链接操作时部分键值过大;数据倾斜是数据仓库性能优化中的一个常见问题, 需要结合具体业务场景、数据分布特点以及查询模式来选择合适的解决方案;理解数据倾斜的原因、识别数据倾斜的节点, 并采取相应的措施, 可以有效提高数据仓库的查询性能 .

数据仓库与数据挖掘第5章数据预处理数据与处理的重要性杂乱性：命名规则不同重复性：同一客观事物在数据库中存在两个以上相同的物理描述不完整性：由于实际系统设计时存在的缺陷以及使用过程中的一些人为因素，数据记录可能会出现数据值的丢失或不确定噪声数据：数据中存在着错误或异常（偏离期望值）数据预处理的常见方法数据清理（清洗）去掉数据中的噪声，纠正不一致数据集成将多个数据源合并成一致的数据存储，构成一个完整的数据集，如数据仓库 数据变换（转换）将一种格式的数据转换为另一

这篇文章系统介绍了数据仓库的概念、重要性及主要模型类型。数据仓库是通过整合企业分散数据支持决策分析的系统，其建设流程包括需求分析、概念设计、逻辑设计等步骤。文章重点对比了四种数据仓库模型：范式模型（数据冗余少但查询慢）、维度模型（查询快但冗余多）、星座模型（共享维度表）和雪花模型（维度表拆分）。选择模型需权衡数据冗余度、查询效率、一致性等因素，建议根据业务需求而非技术复杂度进行选择。FineDataLink等工具可优化不同模型的数据加载过程。最后强调数据仓库应随业务变化调整，避免成为"僵尸库"。

7,394

社区成员

6,741

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章