社区
数据仓库
帖子详情
关于数据仓库设计中产品维度不确定的问题.
qklwdd6
2017-04-24 11:54:49
在数据仓库设计中, 公司产品不是具体的某一类, 比如有的是充电桩,有的是学术论文,因此属性也大不相同,
充电桩的属性包括规格 电容之类,而论文的属性却有 字数,发行期刊. 请问在这种情况下,产品维度该如何设计呢?
是将充电桩和论文分隔开来成为不同的维度(这样若是新增一个产品又会增加新的维度),还是在一个维度中增加大量属性,不符合本产品的属性值为-1?但是也不好动态管理.
所以请问 有没有好的解决方法呢?谢谢!
...全文
605
1
打赏
收藏
关于数据仓库设计中产品维度不确定的问题.
在数据仓库设计中, 公司产品不是具体的某一类, 比如有的是充电桩,有的是学术论文,因此属性也大不相同, 充电桩的属性包括规格 电容之类,而论文的属性却有 字数,发行期刊. 请问在这种情况下,产品维度该如何设计呢? 是将充电桩和论文分隔开来成为不同的维度(这样若是新增一个产品又会增加新的维度),还是在一个维度中增加大量属性,不符合本产品的属性值为-1?但是也不好动态管理. 所以请问 有没有好的解决方法呢?谢谢!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
1 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
致命的西瓜
2017-04-30
打赏
举报
回复
产品之间是独立的,数据也是独立的,模式当然也是独立的,这个工作量不能避免的,谁让公司有这么多业务呢
Kettle智能电商全栈
数据仓库
项目 Kettle ETL处理实时仓库+离线仓库高级项目课程
(1)\1、离线;目录
中
文件数:134个 ├─01-kylincube优化-
确定
cuboid数量与cubesize.mp4 ├─01-今日课程内容和课程目标.mp4 ├─01-今日课程目标与课程内容介绍(1).mp4 ├─01-今日课程目标与课程内容介绍.mp4 ├─01-课程目标.mp4 ├─01-课程目标与课程内容介绍.mp4 ├─01今日课程目标与课程内容介绍.mp4 ├─02-cube优化-衍生
维度
.avi ├─02-kylin简介以及应用场景.avi ├─02-数仓
维度
建模
设计
.avi ├─02-生成明细表数据.avi ├─02-电商行业与电商系统介绍.avi ├─02-网站流量日志获取方式介绍.mp4 ├─02-订单时间
维度
指标需求分析.avi ├─03-cube优化-聚合组.avi ├─03-kylin的优势以及数据流程图.avi ├─03-使用kettle生成日期
维度
数据.avi ├─03-埋点js自定义采集原理分析.mp4 ├─03-数仓为什么分层.avi ├─03-数仓项目整体技术架构介绍.avi ├─03-流量分析常见指标-基础级-复合级指标.avi ├─04-c
商务智能-第五章多维建模.pdf
商务智能-第五章多维建模 Lecture5-Dimensional Modeling 多维建模 1.
维度
建模
中
的基本概念 1. 事实表 2.
维度
表 3. 事实与
维度
的融合 1. 星型模型 2. 雪花模型 3. 数据⽴⽅体 1.1. 事实表 1. 事实表是
维度
建模的核⼼和基本表 2. 每⼀事实表都对应着⼀个或若⼲个"度量值" 1. 度量值是事实表的核⼼,也是趋势分析的对象 2. 通过事实表来记录
维度
值与度量值之间的关系 3. 事实表
中
的⼀⾏对应⼀个度量值 1. 事实表
中
的所有度量值必须具有相同的粒度 2. 粒度划分模型:事务,周期快照,累积快照 1. 事务: 1. 记录的事务层⾯的事实,保存的是最原⼦的数据,⼜称"原⼦事实表",事务事实表
中
的数据在事务时间发⽣后产⽣。 2. 粒度是⼀条记录,⽐如银⾏转账1块钱。 3. 更新⽅式是增量更新,具有稀疏性质,因为很多的事实可能不同时发⽣,是稀疏表,只有当天发⽣了操作才有记录。 2. 周期快照: 1. 以具有规律性的、可预见的时间间隔来记录事实,统计的是间隔周期内的度量统计。时间间隔:年、⽉、⽇等。 2. 周期快照没有粒度的概念,是周期+状态度量的组合,其粒度是每个时间段⼀条记录。 3. 周期快照事实表
维度
少于事务事实表,但是记录的事实要多于事实事务表。 4. 更新⽅式是增量更新,是稠密表,哪怕当天没操作也会有记录 5. ⽤于记录重复的可预测时间间隔的事实,⽐如每⽉账单。 3. 累积快照 1. 累积快照事实表存储的是不
确定
的周期的数据,他完全覆盖了⼀个事务或⼀个
产品
的⽣命周期的时间跨度,通常有多 个⽇期字段来记录关键时间点,⽐如订单的付款时间、发货时间、收货时间等。 2. 累积快照事实表只会有⼀条记录,数据会⼀直更新到过程结束。 3. 通常包含很多⽇期字段,并且会有⼀个⽤户只是最后更新⽇期的附加⽇期字段。 4. ⽤于记录较短周期,有着明确开始和结束状态等多个状态的过程。 4. 更多阅读: 1.1.1. 事实表
中
的度量值 1. 最常⽤的度量值:数值类型,⽅便处理 2. 度量值通常是⼀个可以连续取值的量,很少采⽤⽂本形式的度量值,因为⽂本没有办法处理。 3. 三种类型的度量值 1. 可做加法运算 2. 可沿着某些
维度
做加法运算:⽐如每天剩下的零钱按照时间加。 3. 不能做加法运算 1. 计数统计 2. 计算平均值 3. 取样统计 4. ⽆法量化不是量化本⾝的
问题
,⽽是体系的
问题
。 1.1.2. 事实表
中
的关键字 1. 每个事实表都有两个或两个以上的外关键字(Foreign Key) 1. 通过外关键字建⽴事实表与维表之间的联系,从⽽可以通过
维度
表来存取事实表
中
的度量值 2. 可以由外关键字的组合构成事实表的主关键字(Primary Key) 2. 销售量和销售额是度量值,可以体现出其关联关系。 3. 多少个
维度
就有多少个外关键字。 4. 事实表
中
单独的Primary Key是没有意义的,但有时候为了解决
问题
我们可能会引⼊新的关键字。 1.2.
维度
表 1.
维度
表是事实表的⼊⼝,为⽤户提供了使⽤
数据仓库
的接⼝。 2.
维度
表
中
的
维度
属性通常⽤于定义事实表上的查询条件,也可作为定义报表和统计查询的"列"。 3.
维度
表的定义通常包括 1. 尽可能多的列:和事实表的差别 2. 相对少的⾏(相对于事实表) 1.2.1.
维度
表的属性组成 操作性数据环境
中
不会有这么多数据:只有部分数据是有意义的 1.2.2.
维度
属性 1. 通常是⽂本数据,或者是离散数据 2. 尽量减少使⽤编码属性:对于⼈⽽⾔不好理解 3.
维度
属性与度量值(属性)的区别 1. 度量值属性:有许多取值可能并可以参与统计运算的属性 2.
维度
属性: 1. 离散的或取值可能不多的属性 2. 取值不变或很少产⽣变化的属性 1.3. 事实与
维度
的融合 将事实表及其相关的维表通过关键字进⾏连接 1.4.
维度
建模案例 1.
维度
建模案例之⼀:零售营销 2.
维度
建模案例之⼆:库存管理 3.
维度
建模案例之三:订单管理 4.
维度
建模案例之四:客户关系管理 5. 注:上述案例及其图、表均引⾃:"
数据仓库
⽣命周期⼯具箱:
设计
、开发和部署
数据仓库
的专家⽅法"⼀书 2.
维度
建模案例之⼀:零售营销 2.1.
维度
建模的
设计
过程 1. 选取要建模的业务处理过程(分析型):根据分析需要 2. 定义业务处理的粒度:
确定
事实表
中
每⼀⾏的度量值的取值粒度,和多
维度
相关。 3. 选择事实表
中
的
维度
(事先已经建⽴):
设计
中
⼀定是先
设计
好
维度
4. 选择事实表
中
的度量值 1. 以分析对象为依据 2. 可以有多个度量值 2.2. 零售营销的需求分析 1. 数据的⼊⼝(数据驱动):前台POS机和后台的货物⼊库 2. 管理决策需要(⾯向主题):定价和促销 2.3.
[
数据仓库
复习] ——
维度
数据模型
维度
数据模型
维度
数据模型建模过程1. 选择业务流程2. 声明粒度3. 确认
维度
4. 确认事实
维度
规范化
维度
数据模型的特点参考资料
维度
数据模型简称
维度
模型(Dimensional modeling, DM),是一套技术和概念的集合,用于
数据仓库
设计
。不同于关系数据模型,
维度
模型不一定要引入关系数据库。 在逻辑上相同的
维度
模型,可以被用于多种物理形式,比如
维度
数据库或是简单的平面文件。根据
数据仓库
大...
数据仓库
(二)之
维度
建模篇
概述
维度
建模是一种将数据结构化的逻辑
设计
方法,它将客观世界划分为度量和上下文。度量是常常是以数值形式出现,事实周围有上下文包围着,这种上下文被直观地分成独立的逻辑块,称之为
维度
。它与实体-关系建模有很大的区别,实体-关系建模是面向应用,遵循第三范式,以消除数据冗余为目标的
设计
技术。
维度
建模是面向分析,为了提高查询性能可以增加数据冗余,反规范化的
设计
技术。
维度
建模优点 ...
数据仓库
系列(14):
维度
设计
(一)
维度
设计
的基础知识 在建设以Hadoop为技术核心的
数据仓库
时,
维度
建模是目前应用最广泛的建模方法论,虽然无法说它一定是最合适的,但针对
维度
建模所涉及的超大规模平台建设已经有了比较成功的应用案例。因此针对
维度
建模
中
最基本的
维度
与事实的概念,需要有一定比较深入的了解,以理解在超大规模平台下如何使用和维护。
维度
是
维度
建模最重要的建设项目,是描述平台表及业务过程的重要表述方式。通常一张
维度
表...
数据仓库
7,388
社区成员
6,742
社区内容
发帖
与我相关
我的任务
数据仓库
其他数据库开发 数据仓库
复制链接
扫一扫
分享
社区描述
其他数据库开发 数据仓库
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章