社区
数据仓库
帖子详情
数据仓库分层是什么意思
一方晴空
2017-08-07 11:05:30
看数据仓库的PPT,里面有数据仓库架构,其中架构中分什么基础数据层,数据缓冲层,到最后的数据应用层,这是逻辑上的分层还是物理上的分层,比如就一台机器上装的oracle数据库能实现吗。
...全文
7435
4
打赏
收藏
数据仓库分层是什么意思
看数据仓库的PPT,里面有数据仓库架构,其中架构中分什么基础数据层,数据缓冲层,到最后的数据应用层,这是逻辑上的分层还是物理上的分层,比如就一台机器上装的oracle数据库能实现吗。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
4 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
LiIce_Java
2018-02-11
打赏
举报
回复
逻辑上的分层
卜塔
2017-09-14
打赏
举报
回复
一般的生产环境中,数据都有粒度之分。数据从低粒度级也就是基础数据层,通过存储过程或者其他的etl工具加工到我们想要的汇总数据,也就是高粒度的数据,而数据从低粒度级别向高粒度级别转换的过程不是一步到位的,而是逐步完成的,这也就出现了你说的数据缓冲层。在生产环境中,缓冲层是很有用的,因为底层数据往上层汇总时,有些数据我们不需要重复加工,在缓冲层加工一次就可以被其他的上层表调用。 举个例子:我公司是一家保险公司,使用的是oracle数据库。数据一般是从核心系统通过接口抽取到接口表中,加工成低粒度级别的数据表。然后接口表数据再通过存储过程加工到缓冲表中(buffer层),缓冲表中的数据是轻度综合的汇总数据。缓冲表数据进一步加工就可以到上层的高度综合的汇总表(fact表,也叫事实表)。最后BI前台就可以通过接口调取高度综合的汇总表中的数据,形成直观的前台数据。 希望能够帮到你。
灰哥
2017-08-29
打赏
举报
回复
数据分层并不是一个片面的说法,他是数据仓库解决方案中,数据架构设计的数据逻辑结构,比如数据缓冲层,基础数据层,在仓库架构设计中意思是数据先进入缓冲层,然后再进入基础数据层,这些数据层既是逻辑上的,也是物理上的,逻辑上按这些层次分,物理上会在数据仓库实施过程中也构建这些层,如:数据缓冲层可能是文件,但基础数据层确是实体表,中间通过ETL工具来实现从缓冲从到基础数据层的加工过程,数据分层在整个数据仓库实现中只是为了更好的对各个层次的数据进行管理,每一层是有每一层的用处的,在比如:缓冲层,是为了降低和源系统的耦合度,避免所有的数据加工操作都直接和源系统直连,影响原系统正常运行,比如基础数据层,在基础数据层会对数据进行一定的清洗、标准化,整合的动作,形成后期可用的基础数据,等等。。 你提的问题只是数据仓库的局面,还有很多概念的东西。
gadflyyy
2017-08-09
打赏
举报
回复
能啊,用schema隔开
数据仓库
与数据挖掘最佳实践
本次课程将介绍
数据仓库
和数据挖掘技术的基本理论和体系架构,通过大型
数据仓库
和数据挖掘项目案例阐述
数据仓库
和数据挖掘项目的实施过程和方法。通过实际应用案例介绍
数据仓库
架构设计、ETL流程、OLAP、ODS、MDM、MDX、DMX、立方体及元数据等重要概念。详细讲解构建
数据仓库
和数据挖掘体系的核心方法和技术,以及数据质量控制,行业解决方案,并结合实际项目搭建
数据仓库
和数据挖掘环境。掌握主流
数据仓库
和数据挖掘厂商及相关软件产品的操作和使用。课程特点:1、 培训过程中将以大型项目案例为背景,逐步讲解整个
数据仓库
和数据挖掘的设计过程和实施方法2、 课程将以深入浅出的案例让学员轻松掌握
数据仓库
和数据挖掘相关技术 3、 课程的重点是项目实施,将深入探讨
数据仓库
和数据挖掘项目的实施问题,逐一解决项目实施过程中所遇到的问题和处理技巧4、 结合动手实验和实际项目案例,使学员充分理解
数据仓库
和数据挖掘架构设计和相关工具的使用
数据仓库
分层
架构
1:
数据仓库
的基本概念
数据仓库
的英文名称为Data Warehouse,可简写为DW或DWH。
数据仓库
的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support)。它出于分析性报告和决策支持的目的而创建。
数据仓库
本身并不“生产”任何数据,同时自身也不需要“消费”任何的数据,数据来源于外部,并且开放给外部应用,这也是为什么叫“仓库”,而不叫“工厂”的原因。 2:
数据仓库
的主要特征
数据仓库
是面向主题的(Subject-Oriented)、集成的(Integrat
数据仓库
分层
设计思想
为什么要对
数据仓库
进行
分层
合理的
数据仓库
分层
一方面可以减少耦合,提高重用性,可读性,可维护性,另一方面还可以提高操作效率,影响数据需求迭代的速度。实际上,它影响了产品的及时性。建立数据层次结构可以优化公共层,避免烟囱发展,可见适当合理的
数据仓库
分层
极为重要。 通用
分层
设计思路 工作上,我们一般会将数据模型分为三层:数据运营层(ODS)、
数据仓库
层(DW)和 数据应用层(APP)。可以这样理解为:ODS 层存放的是接入的原始数据,DW层是存放我们要重点设计的
数据仓库
中间层数据,APP是面向业务定制
数据仓库
详解及
分层
理论
目录
数据仓库
定义
数据仓库
的特点
数据仓库
的作用
数据仓库
与传统数据库的区别
数据仓库
的架构
数据仓库
的要求什么是
数据仓库
分层
数据仓库
分层
的原因
数据仓库
具体的
分层
说明
数据仓库
定义
数据仓库
是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合,用于对管理决策过程的支持。
数据仓库
本身并不“生产”任何数据,同时自身也不需要“消费”任何的数据,数据来源于外部,并且开放给外部应用使用。
数据仓库
的特点 面向主题的:
数据仓库
都是基于某个明确的主题,仅需要与该主题相关的数据,其他的无关细节将会被去掉。 集成的
数据仓库
是什么?
对于大数据的学习者来讲,深入理解
数据仓库
是很重要的。本文将对
数据仓库
的基本概念进行讲解,大家可以在看完
数据仓库
的概念、主要特征以及
分层
架构之后,真正理解
数据仓库
是什么。
数据仓库
,全称是Data Warehouse,简写DWH。
数据仓库
的目的是构建面向分析的集成化数据环境,为企业提供决策支持。它出于分析性报告和决策支持目的而创建。正因为它叫 “仓库”,而不是叫“工厂”。所以
数据仓库
本身并不“生产”任何数据,同时自身也不需要“消费”任何的数据。数据来源于外部,并且开放给外部应用。
数据仓库
7,388
社区成员
6,742
社区内容
发帖
与我相关
我的任务
数据仓库
其他数据库开发 数据仓库
复制链接
扫一扫
分享
社区描述
其他数据库开发 数据仓库
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章