社区
数据仓库
帖子详情
概念问题:何为完全更新,增量更新,刷新数据
aim2003
2004-01-02 05:22:31
我在用SQL SERVER中的企业管理器(DTS)创建多维数据集处理任务时,其中有一项是让我选择是完全处理,还是刷新数据还是增量更新,我想问一下前辈,它们之间概念上有什么区别?哪个处理时间长?如果在处理过程中突然断电或其它原因没能完全处理,那么又有什么有效的方法防备最大的数据损坏?谢谢!!
...全文
870
4
打赏
收藏
概念问题:何为完全更新,增量更新,刷新数据
我在用SQL SERVER中的企业管理器(DTS)创建多维数据集处理任务时,其中有一项是让我选择是完全处理,还是刷新数据还是增量更新,我想问一下前辈,它们之间概念上有什么区别?哪个处理时间长?如果在处理过程中突然断电或其它原因没能完全处理,那么又有什么有效的方法防备最大的数据损坏?谢谢!!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
4 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
sosinoe
2004-01-05
打赏
举报
回复
完全处理:
"完整处理"选项是用来执行多维数据集完全装载的处理选项。将读取所有的维度和事实数据表中的数据,并计算所有指定的聚合。如果多维数据集结构是新的或多维数据集、其维度或度量值历经了结构性的更改,则必须使用"完整处理"选项对其进行处理。另外,虚拟和链接的多维数据集在生成、结构更改或某个共享维度更改之后也需要进行完全处理。
增量更新:
若要向多维数据集添加新数据,而现有数据没有更改而且多维数据集结构不变,则可进行增量更新。"增量更新"选项添加新数据并更新聚合。
增量更新不影响已经处理过的现有数据。它所需要的处理时间往往比使用"完整处理"选项处理要少得多。在用户继续查询多维数据集时可以执行增量更新;更新完成后,用户不用断开并重新连接即可访问新增数据。
因为增量更新用新数据创建了临时分区并将其合并到现有分区中,所以在执行增量更新之前,先要了解对于分区的特殊考虑事项。
刷新数据:
"刷新数据"选项清除并重新装载多维数据集的数据并重新计算聚合。当数据仓库中的基础数据已经更改但多维数据集的结构不变时,可使用此选项。
在用户继续查询多维数据集时,可以执行"刷新数据"选项;刷新完成后,用户不必断开并重新连接就可以访问更新数据。
aim2003
2004-01-05
打赏
举报
回复
在处理失败后如何记录日志?顺便问一下,UNC是什么意思?谢谢!!
chump
2004-01-05
打赏
举报
回复
增量更新需要过滤条件,否则数据集中数据会重复。
aim2003
2004-01-05
打赏
举报
回复
newmcz(newmcz):
在进行增量更新之前,是否需要添加过滤条件,因为我在书中看到和进行实验均表明:
如不家任何限制条件,那么将增量更新整个事实表中的数据,造成数据的重复,而且处理时间较长,我有的是分,不够再给。
Kylin
一、数仓回顾 1.1 核心
概念
数据
仓库,OLAP和OLTP,维度和度量,事实表和维度表。星形模型和雪花模型。 1.2
数据
仓库 这是商业智能的核心部分,主要是将不同
数据
源的
数据
整合到一起,通过多维分析为企业提供决策支持报表生成等。存入
数据
仓库的资料必定包含时间属性。
数据
仓库和
数据
库主要区别: 一般来说,在传统 BI 领域里,
数据
仓库的
数据
同样是存储在 MySQL 这样的
数据
库中。大
数据
领域最常用的
数据
仓库就是 Hive ,我们要学习的 Kylin 也是以 Hive 作为默认的
数据
源的。
数据
仓库开发
CDM:公共
数据
层,由DWD+DWS+ADS+DIM共同构成公共处理逻辑收敛和下沉统一公共指标和公共维度,减少
数据
的不一致性建立整个业务范围内的一致性维度,并确保使用;实体表,不大,就可以做每日全量。对于维度表,比如说商品分类,这种不是很大,也可以做每日全量,有一些不太会发生改变的维度,就可以固定保存一份值,比如说:地区,种族等。像事务型事实表,比如说交易流水,操作日志,出库信息,这种每日比较大,且需要历史
数据
的,就根据时间做每日新增,可以利用分区表,每日做分区存储。像周期型事实表。
【精】JAVA基础进阶知识汇总-HELLO XF
【精】各大厂
问题
汇总 创建时间: 2022/6/26 14:34
更新
时间: 2023/3/21 19:27 作者: HelloXF 标签: 知识库, 重要文件 Java 基础 JAVA SE $关键字 Java 语言目前定义了 51 个关键字,这些关键字不能作为变量名、类名和方法名来使用。以下对这些关键字进行了分类。
数据
类型:boolean、int、long、short、byte、float、double、char、class、interface。 流程控制:if、e
前端面试题
前端面试题 Vue相关 1.Vue的核心是什么 Vue是一套构建用户界面的渐进式自底向上
增量
开发的MVVM框架,vue的核心只关注视图层, 核心思想:
数据
驱动(视图的内容随着
数据
的改变而改变) 组件化(可以增加代码的复用性,可维护性,可测试性,提高开发效率,方便重复使用,体现了高内聚低耦合) 2.请简述你对vue的理解 Vue是一套构建用户界面的渐进式的自底向上
增量
开发的MVVM框架,核心是关注视图层,vue的核心是为了解决
数据
的绑定
问题
,为了开发大型单页面应用和组件化,所以vue的核心思想是
数据
驱动和组
B3-redis
分析:直接从
数据
库中的
数据
,是存储在磁盘中的,需要多次的IO,而且请求
数据
库是基于TCP连接,单机的mysql qps 1W+,而redis的qps达到10w+;但是从缓存利用率角度来评估这个方案,不太推荐,因为每次
数据
发生变更,都无脑
更新
缓存,缓存中的
数据
不一定能被马上读取,这导致缓存中放了很多不常访问的
数据
,浪费缓存资源。先删除缓存,后
更新
数据
库,第二步操作失败,
数据
库没有
更新
成功,下次读缓存时发现不存在,则从
数据
库中读取,并重建缓存,此时
数据
库和缓存依然保持一致。商品id为field;
数据仓库
7,394
社区成员
6,741
社区内容
发帖
与我相关
我的任务
数据仓库
其他数据库开发 数据仓库
复制链接
扫一扫
分享
社区描述
其他数据库开发 数据仓库
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章