基于大数据的数据仓库-数据仓库建模基本理论.pdf下载

[weixin_39821620]

基于⼤数据的数据仓库-数据仓库建模基本理论 （内容整理⾃⽹络学习视频） ⼀、数仓建模的⽬标 访问性能：能够快速查询所需的数据，减少数据I/O。 数据成本：减少不必要的数据冗余，实现计算结果数据复⽤，降低⼤数据系统中的存储成本和计算成本。 使⽤效率：改善⽤户应⽤体验，提⾼使⽤数据的效率。 数据质量：改善数据统计⼝径的不⼀致性，减少数据计算错误的可能性，提供⾼质量的、⼀致的数据访问平台。 所以，⼤数据的数仓建模需要通过建模的⽅法更好的组织、存储数据，以便在性能、成本、效率和数据质量之间找到最佳平衡点。 ⼆、关系模式范式 关系型数据库设计时，遵照⼀定的规范要求，⽬的在于降低数据的冗余性和数据的⼀致性，⽬前业界范式有： 第⼀范式（1NF） 第⼆范式（2NF） 第三范式（3NF） 巴斯-科德范式（BCNF） 第四范式（4NF） 第五范式（5NF） 第⼀范式（1NF）： 域都是原⼦性的，即数据库表的每⼀列都是不可分割的原⼦数据项。 例如下⾯这张表： ID ID 商品 商品 商家ID 商家ID ⽤户ID ⽤户ID 1 4件⽑⾐ B0001 U00001 "商品"字段就不是原⼦性的，可以分割成"4件"和"⽑⾐"。 第⼆范式（2NF）： 在1NF的基础上，实体的属性完全依赖于主关键字，不能存在仅依赖主关键字⼀部分的属性，也就是不存在局部依赖。 例如下⾯这张表： 学⽣ID 学⽣ID 所属系 所属系 系主任 系主任 所修课程 所修课程 分数 分数 S001 物理系 张三 C001 90 S001 物理系 张三 C002 100 主键ID为"学⽣ID，所修课程"，但是字段"所属系"只依赖于"学⽣ID"，不符合2NF。 第三范式（3NF）： 在2NF的基础上，任何⾮主属性不依赖于其它⾮主属性，也就是不存在传递依赖。 例如下⾯这张表： 订单ID 订单ID 商品ID 商品ID 商品颜⾊ 商品颜⾊ 商家ID 商家ID ⽤户ID ⽤户ID O00001 G0001 ⽩⾊ B0001 U00001 主键为"订单ID"，但是字段"商品颜⾊"依赖于"商品ID"，不符合3NF。 三、四种建模⽅法 1、ER实体模型 在信息系统中，将事务抽象为"实体"（Entity）、"属性"（Property）、"关系"（Relationship）来表⽰数据关联和事物描述，这种 对数据的抽象建模通常被称为ER实体关系模型。 实体：通常为参与到过程中的主体，客观存在的，⽐如商品、仓库、货位、汽车，此实体⾮数据库表的实体表。 属性：对主体的描述、修饰即为属性，⽐如商品的属性有商品名称、颜⾊、尺⼨、重量、产地等。 关系：现实的物理事件是依附于实体的，⽐如商品⼊库事件，依附实体商品、货位，就会有"库存"的属性产⽣；⽤户购买商品，依附实体 ⽤户、商品，就会有"购买数量"、"⾦额"的属性产品。 实体之间建⽴关系时，存在对照关系： 1:1：即1对1的关系 1:n：即1对多的关系 n:m：即多对多的关系 在⽇常建模中，"实体"⽤矩形表⽰，"关系"⽤菱形，"属性"⽤椭圆形。ER实体关系模型也称为E-R关系图。 应⽤场景： 1、ER模型是数据库设计的理论基础，当前⼏乎所有的OLTP系统设计都采⽤ER模型建模的⽅式。 2、Bill Inom提出的数仓理论，推荐采⽤ER关系模型进⾏建模。 3、BI架构提出分层架构，数仓底层ods、dwd也多采⽤ER关系模型进⾏设计。 2、维度建模 维度建模源⾃数据集市，主要⾯向分析场景。Ralph Kimball推崇数据集市的集合为数据仓库，同时也提出了对数据集市的维度建模，将数 据仓库中的表划分为事实表、维度表两种类型。 事实表： 在ER模型中抽象出了有实体、关系、属性三种类别，在现实世界中，每⼀个操作型事件，基本都是发⽣在实体之间的，伴随着这种操作事 件的发⽣，会产⽣可度量的值，⽽这个过程就产⽣了⼀个事实表，存储了每⼀个可度量的事件。 维度表： 维度，顾名思义，看待事物的⾓度。⽐如从颜⾊、尺⼨的⾓度来⽐较⼿机的外观，从cpu、内存等⾓度⽐较⼿机性能。 维度表⼀般为单⼀主键，在ER模型中，实体为客观存在的事务，会带有⾃⼰的描述性属性，属性⼀般为⽂本性、描述性的，这些描述被称 为维度。 ⽐如商品，单⼀主键：商品ID，属性包括产地、颜⾊、材质、尺⼨、单价等，但并⾮属性⼀定是⽂本，⽐如单价、尺⼨，均为数值型描述性 的，⽇常主要的维度抽象包括：时间维度表、地理区域维度表等。 维度建模通常⼜分为星型模型和雪花模型。 星型模型： 雪花模型： 星型模型和雪花模型的主要区别在于对维度表的拆分，对于雪花模型，维度表的设计更加规范，⼀般符合3NF；⽽星型模型，⼀般采⽤降维 的操作，利⽤冗余来避免模型过于复杂，提⾼易⽤性和分析效率。 雪花、星型模型对⽐： 1、冗余：雪花模型符合业务逻辑设计，采⽤ , 相关下载链接：https://download.csdn.net/download/qq_43934844/87340552?utm_source=bbsseo