全新大数据企业电商数据仓库项目实战教程

[zhchzh1000]

课程名称	适应人群
全新大数据企业电商数据仓库项目实战教程	1.有一定Java、Scala语言基础，希望了解大数据实际应用场景的编程人员 ；了解大数据相关知识，希望增加项目经验的大数据从业者。

本教程为授权出品

一、课程简介
数据仓库（Data Warehouse，可简写为DW或DWH），是面向分析的集成化数据环境，为企业决策制定过程，提供系统数据支持的战略集合，是国内外各大公司正在重点投入的战略级技术领域。

二、课程内容
《大数据电商数仓项目实战》视频教程，从项目架构的搭建，到数据采集模块的设计、数仓架构的设计、实战需求实现、即席查询的实现，我们针对国内目前广泛使用的Apache原生框架和CDH版本框架进行了分别介绍，Apache原生框架介绍中涉及到的技术框架包括Flume、Kafka、Sqoop、MySql、HDFS、Hive、Tez、Spark、Presto、Druid等，CDH版本框架讲解包括CM的安装部署、Hadoop、Zookeeper、Hive、Flume、Kafka、Oozie、Impala、HUE、Kudu、Spark的安装配置，透彻了解不同版本框架的区别联系，将大数据全生态系统前沿技术一网打尽。在过程中对大数据生态体系进行了系统的讲解，对实际企业数仓项目中可能涉及到的技术点都进行了深入的讲解和探讨。同时穿插了大量数仓基础理论知识，让你在掌握实战经验的同时能够打下坚实的理论基础。

三、课程目标
本课程以国内电商巨头实际业务应用场景为依托，对电商数仓的常见实战指标以及难点实战指标进行了详尽讲解，具体指标包括：每日、周、月活跃设备明细，留存用户比例，沉默用户、回流用户、流失用户统计，最近连续3周活跃用户统计，最近7天内连续3天活跃用户统计，GMV成交总额分析，转化率及漏斗分析，品牌复购率分析、订单表拉链表的设计等，让学生拥有更直观全面的实战经验。通过对本课程的学习，对数仓项目可以建立起清晰明确的概念，系统全面的掌握各项数仓项目技术，轻松应对各种数仓难题。

四、课程亮点
本课程结合国内多家企业实际项目经验，特别加入了项目架构模块，从集群规模的确定到框架版本选型以及服务器选型，手把手教你从零开始搭建大数据集群。并且总结大量项目实战中会遇到的问题，针对各个技术框架，均有调优实战经验，具体包括：常用Linux运维命令、Hadoop集群调优、Flume组件选型及性能优化、Kafka集群规模确认及关键参数调优。通过这部分学习，助学生迅速成长，获取前沿技术经验，从容解决实战问题。

[zhchzh1000]

@方满华 用电脑登陆下载资料，资料只能通过电脑下载目前。

[方满华]

请问您的上课资料从哪里可以下载到，谢谢

[zhchzh1000]

@方满华 看视频右上角，选择资料，点击下载

[方满华]

请问您的上课资料从哪里可以下载到，谢谢

[zhchzh1000]

@chengbill 还有你对比下发送的数据和消费的数据

[zhchzh1000]

@chengbill 可以避免写代码，直接用flume去消费kafka，只需要配置好flume就行了，不用写代码了。

[chengbill]

老师，问一下。已经使用flume将数据发送到kafka，为什么还需要使用flume去消费kafka的数据？

[暖暖_Christine]

老师,您好,针对业务数仓有些问题: 1、课程中是直接提取了8张表,请问在真实的业务系统中,如何从众多表中提取核心表? 2、业务建模时,在了解业务时,重点关注的点是什么?是否需要了解不同系统之间的关联强度? 3、维度建模时需要构建一致性维度,请问需要在了解业务时注意什么呢? 另外,课件中的资料不全,解压后只有:1.笔记,3.代码.没有您在视频里展示的资料.目前没有SQL脚本.

[暖暖_Christine]

老师, 您好。在104、105 业务数仓-用户购买商品明细表课程中,算复购率时,为什么要在DWS先聚合一次,再在ADS层出最终的结果呢?为什么不直接出一个ADS层的结果呢? 请问这样做是在实际工作中有什么优势吗?是否是若有新增报表, 那就把新增的值加入到宽表中, 方便之后的加工?

[暖暖_Christine]

另外，在实际的工作中，DWD层是数据清洗和降维处理，DWS以DWD轻度汇总，一般为跨主题的宽表，请问之前介绍的维度建模技术的星型建模是应用在DWD层和DWS层吗？