关于数据仓库设计中产品维度不确定的问题.

qklwdd6 2017-04-24 11:54:49

在数据仓库设计中, 公司产品不是具体的某一类, 比如有的是充电桩,有的是学术论文,因此属性也大不相同,
充电桩的属性包括规格电容之类,而论文的属性却有字数,发行期刊. 请问在这种情况下,产品维度该如何设计呢?
是将充电桩和论文分隔开来成为不同的维度(这样若是新增一个产品又会增加新的维度),还是在一个维度中增加大量属性,不符合本产品的属性值为-1?但是也不好动态管理.
所以请问有没有好的解决方法呢?谢谢!

...全文

606 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

致命的西瓜 2017-04-30

打赏
举报

回复

产品之间是独立的，数据也是独立的，模式当然也是独立的，这个工作量不能避免的，谁让公司有这么多业务呢

(1)\1、离线；目录中文件数:134个 ├─01-kylincube优化-确定cuboid数量与cubesize.mp4 ├─01-今日课程内容和课程目标.mp4 ├─01-今日课程目标与课程内容介绍(1).mp4 ├─01-今日课程目标与课程内容介绍.mp4 ├─01-课程目标.mp4 ├─01-课程目标与课程内容介绍.mp4 ├─01今日课程目标与课程内容介绍.mp4 ├─02-cube优化-衍生维度.avi ├─02-kylin简介以及应用场景.avi ├─02-数仓维度建模设计.avi ├─02-生成明细表数据.avi ├─02-电商行业与电商系统介绍.avi ├─02-网站流量日志获取方式介绍.mp4 ├─02-订单时间维度指标需求分析.avi ├─03-cube优化-聚合组.avi ├─03-kylin的优势以及数据流程图.avi ├─03-使用kettle生成日期维度数据.avi ├─03-埋点js自定义采集原理分析.mp4 ├─03-数仓为什么分层.avi ├─03-数仓项目整体技术架构介绍.avi ├─03-流量分析常见指标-基础级-复合级指标.avi ├─04-c

商务智能-第五章多维建模 Lecture5-Dimensional Modeling 多维建模 1. 维度建模中的基本概念 1. 事实表 2. 维度表 3. 事实与维度的融合 1. 星型模型 2. 雪花模型 3. 数据⽴⽅体 1.1. 事实表 1. 事实表是维度建模的核⼼和基本表 2. 每⼀事实表都对应着⼀个或若⼲个"度量值" 1. 度量值是事实表的核⼼，也是趋势分析的对象 2. 通过事实表来记录维度值与度量值之间的关系 3. 事实表中的⼀⾏对应⼀个度量值 1. 事实表中的所有度量值必须具有相同的粒度 2. 粒度划分模型：事务，周期快照，累积快照 1. 事务： 1. 记录的事务层⾯的事实，保存的是最原⼦的数据，⼜称"原⼦事实表"，事务事实表中的数据在事务时间发⽣后产⽣。 2. 粒度是⼀条记录，⽐如银⾏转账1块钱。 3. 更新⽅式是增量更新，具有稀疏性质，因为很多的事实可能不同时发⽣，是稀疏表，只有当天发⽣了操作才有记录。 2. 周期快照： 1. 以具有规律性的、可预见的时间间隔来记录事实，统计的是间隔周期内的度量统计。时间间隔：年、⽉、⽇等。 2. 周期快照没有粒度的概念，是周期+状态度量的组合，其粒度是每个时间段⼀条记录。 3. 周期快照事实表维度少于事务事实表，但是记录的事实要多于事实事务表。 4. 更新⽅式是增量更新，是稠密表，哪怕当天没操作也会有记录 5. ⽤于记录重复的可预测时间间隔的事实，⽐如每⽉账单。 3. 累积快照 1. 累积快照事实表存储的是不确定的周期的数据，他完全覆盖了⼀个事务或⼀个产品的⽣命周期的时间跨度，通常有多个⽇期字段来记录关键时间点，⽐如订单的付款时间、发货时间、收货时间等。 2. 累积快照事实表只会有⼀条记录，数据会⼀直更新到过程结束。 3. 通常包含很多⽇期字段，并且会有⼀个⽤户只是最后更新⽇期的附加⽇期字段。 4. ⽤于记录较短周期，有着明确开始和结束状态等多个状态的过程。 4. 更多阅读： 1.1.1. 事实表中的度量值 1. 最常⽤的度量值：数值类型，⽅便处理 2. 度量值通常是⼀个可以连续取值的量，很少采⽤⽂本形式的度量值，因为⽂本没有办法处理。 3. 三种类型的度量值 1. 可做加法运算 2. 可沿着某些维度做加法运算：⽐如每天剩下的零钱按照时间加。 3. 不能做加法运算 1. 计数统计 2. 计算平均值 3. 取样统计 4. ⽆法量化不是量化本⾝的问题，⽽是体系的问题。 1.1.2. 事实表中的关键字 1. 每个事实表都有两个或两个以上的外关键字(Foreign Key) 1. 通过外关键字建⽴事实表与维表之间的联系，从⽽可以通过维度表来存取事实表中的度量值 2. 可以由外关键字的组合构成事实表的主关键字(Primary Key) 2. 销售量和销售额是度量值，可以体现出其关联关系。 3. 多少个维度就有多少个外关键字。 4. 事实表中单独的Primary Key是没有意义的，但有时候为了解决问题我们可能会引⼊新的关键字。 1.2. 维度表 1. 维度表是事实表的⼊⼝，为⽤户提供了使⽤数据仓库的接⼝。 2. 维度表中的维度属性通常⽤于定义事实表上的查询条件，也可作为定义报表和统计查询的"列"。 3. 维度表的定义通常包括 1. 尽可能多的列：和事实表的差别 2. 相对少的⾏(相对于事实表) 1.2.1. 维度表的属性组成操作性数据环境中不会有这么多数据：只有部分数据是有意义的 1.2.2. 维度属性 1. 通常是⽂本数据，或者是离散数据 2. 尽量减少使⽤编码属性：对于⼈⽽⾔不好理解 3. 维度属性与度量值(属性)的区别 1. 度量值属性：有许多取值可能并可以参与统计运算的属性 2. 维度属性： 1. 离散的或取值可能不多的属性 2. 取值不变或很少产⽣变化的属性 1.3. 事实与维度的融合将事实表及其相关的维表通过关键字进⾏连接 1.4. 维度建模案例 1. 维度建模案例之⼀：零售营销 2. 维度建模案例之⼆：库存管理 3. 维度建模案例之三：订单管理 4. 维度建模案例之四：客户关系管理 5. 注：上述案例及其图、表均引⾃："数据仓库⽣命周期⼯具箱：设计、开发和部署数据仓库的专家⽅法"⼀书 2. 维度建模案例之⼀：零售营销 2.1. 维度建模的设计过程 1. 选取要建模的业务处理过程(分析型)：根据分析需要 2. 定义业务处理的粒度：确定事实表中每⼀⾏的度量值的取值粒度，和多维度相关。 3. 选择事实表中的维度(事先已经建⽴)：设计中⼀定是先设计好维度 4. 选择事实表中的度量值 1. 以分析对象为依据 2. 可以有多个度量值 2.2. 零售营销的需求分析 1. 数据的⼊⼝(数据驱动)：前台POS机和后台的货物⼊库 2. 管理决策需要(⾯向主题)：定价和促销 2.3.

课程的重点是项目实施，将深入探讨数据仓库和数据挖掘项目的实施问题，逐一解决项目实施过程中所遇到的问题和处理技巧4、结合动手实验和实际项目案例，使学员充分理解数据仓库和数据挖掘架构设计和相关工具的...

维度数据模型维度数据模型建模过程1. 选择业务流程2. 声明粒度3. 确认维度4. 确认事实维度规范化维度数据模型的特点参考资料维度数据模型简称维度模型(Dimensional modeling, DM)，是一套技术和概念的集合，用于数据仓库设计。不同于关系数据模型，维度模型不一定要引入关系数据库。在逻辑上相同的维度模型，可以被用于多种物理形式，比如维度数据库或是简单的平面文件。根据数据仓库大...

概述维度建模是一种将数据结构化的逻辑设计方法，它将客观世界划分为度量和上下文。度量是常常是以数值形式出现，事实周围有上下文包围着，这种上下文被直观地分成独立的逻辑块，称之为维度。它与实体-关系建模有很大的区别，实体-关系建模是面向应用，遵循第三范式，以消除数据冗余为目标的设计技术。维度建模是面向分析，为了提高查询性能可以增加数据冗余，反规范化的设计技术。维度建模优点 ...

7,388

社区成员

6,742

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章