社区
张长志的课程社区_NO_5
全新大数据企业电商数据仓库项目实战教程
帖子详情
38_数仓采集_Kafka Manager安装及脚本
zhchzh1000
2023-01-12 18:50:09
课时名称
课时知识点
38_数仓采集_Kafka Manager安装及脚本
38_数仓采集_Kafka Manager安装及脚本
...全文
2
回复
打赏
收藏
38_数仓采集_Kafka Manager安装及脚本
课时名称课时知识点38_数仓采集_Kafka Manager安装及脚本38_数仓采集_Kafka Manager安装及脚本
复制链接
扫一扫
分享
举报
写回复
配置赞助广告
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
相关推荐
大数据—电商
数仓
项目
一、课程简介
随着技术的飞速发展,经过多年的数据积累,各互联网公司已保存了海量的原始数据和各种业务数据,所以数据仓库技术是各大公司目前都需要着重发展投入的技术领域。数据仓库是面向分析的集成化数据环境,为企业所有决策制定过程,提供系统数据支持的战略集合。通过对数据仓库中数据的分析,可以帮助企业改进业务流程、控制成本、提高产品质量等。
二、课程内容
本次精心打造的
数仓
项目的课程,从项目架构的搭建,到数据
采集
模块的设计、
数仓
架构的设计、实战需求实现、即席查询的实现,我们针对国内目前广泛使用的Apache原生框架和CDH版本框架进行了分别介绍,Apache原生框架介绍中涉及到的技术框架包括Flume、
Kafka
、Sqoop、MySql、HDFS、Hive、Tez、Spark、Presto、Druid等,CDH版本框架讲解包括CM的
安装
部署、Hadoop、Zookeeper、Hive、Flume、
Kafka
、Oozie、Impala、HUE、Kudu、Spark的
安装
配置,透彻了解不同版本框架的区别联系,将大数据全生态系统前沿技术一网打尽。在过程中对大数据生态体系进行了系统的讲解,对实际企业
数仓
项目中可能涉及到的技术点都进行了深入的讲解和探讨。同时穿插了大量
数仓
基础理论知识,让你在掌握实战经验的同时能够打下坚实的理论基础。
三、课程目标
本课程以国内电商巨头实际业务应用场景为依托,对电商
数仓
的常见实战指标以及难点实战指标进行了详尽讲解,具体指标包括:每日、周、月活跃设备明细,留存用户比例,沉默用户、回流用户、流失用户统计,最近连续3周活跃用户统计,最近7天内连续3天活跃用户统计,GMV成交总额分析,转化率及漏斗分析,品牌复购率分析、订单表拉链表的设计等,让学生拥有更直观全面的实战经验。通过对本课程的学习,对
数仓
项目可以建立起清晰明确的概念,系统全面的掌握各项
数仓
项目技术,轻松应对各种
数仓
难题。
四、课程亮点
本课程结合国内多家企业实际项目经验,特别加入了项目架构模块,从集群规模的确定到框架版本选型以及服务器选型,手把手教你从零开始搭建大数据集群。并且总结大量项目实战中会遇到的问题,针对各个技术框架,均有调优实战经验,具体包括:常用Linux运维命令、Hadoop集群调优、Flume组件选型及性能优化、
Kafka
集群规模确认及关键参数调优。通过这部分学习,助学生迅速成长,获取前沿技术经验,从容解决实战问题。
用户行为数据
采集
第6节
数仓
采集
Kafka
Manager
安装
脚本
测试
上篇:电商
数仓
第5节 日志
采集
分析、ETL拦截器、分类型拦截器及
脚本
编写 1、
Kafka
安装
架构图
Kafka
集群
安装
详见:参照自己上次写的博客:
Kafka
集群部署 集群规划: 服务器hadoop1.x 服务器hadoop2.x 服务器hadoop2.x
Kafka
Kafka
Kafka
Kafka
Kafka
集群启动停止
脚本
在/home/MrZhou/bi...
用户行为数据
采集
第7 节
Kafka
压力测试、消费数据flume
上篇:电商
数仓
第6节
数仓
采集
Kafka
Manager
安装
脚本
测试 1、项目经验之
Kafka
压力测试
Kafka
压测 用
Kafka
官方自带的
脚本
,对
Kafka
进行压测。
Kafka
压测时,可以查看到哪个地方出现了瓶颈CPU,内存,网络IO)。一般都是网络IO达到瓶颈
kafka
-consumer-perf-test.sh
kafka
-producer-perf-test.sh Kafk...
数仓
采集
项目【04
数仓
采集
模块之zookeeper,
kafka
,flume
安装
及
kafka
source sink channel的几个小案例】
(3)修改配置文件 (4)zookeeper群起/关
脚本
2
kafka
集群
安装
(1)集群规划 服务器hadoop101 服务器hadoop102 服务器hadoop103
Kafka
Kafka
Kafka
Kafka
(2)
安装
流程 (3)
kafka
群起/关
脚本
(4)
kafka
常用命令 (5)
kafka
项目经验 (a)producer压力测试 用
Kafka
官方自带的
脚本
,对
Kafka
进行压测。
Kafka
压测时,可以查看到哪个地方出现了瓶颈(CPU,内存,网络IO)。
数仓
配置日志日志输出
脚本
代码修改时间dt同步时间ct
安装
hadoop(hadoop103)集群的启动和停止
脚本
hd
安装
LZO压缩
安装
zookeeper启动
脚本
zkFlume(
采集
日志)
安装
Kafka
启动
脚本
kafka
Manager
kafka
Monitor
Kafka
Channel第一层通道的编写SourceChannel拦截器代码第一层
采集
通道启动
脚本
(f1)第二层
采集
通道第二层
采集
通道启动
脚本
f2一键全启
脚本
onekeyboot 日志 将log-collector-1.0-SNAPSHOT-jar-with
发帖
张长志的课程社区_NO_5
张长志的课程社区_NO_5
复制链接
扫一扫
1
社区成员
538
社区内容
社区管理员
加入社区
获取链接或二维码
帖子事件
创建了帖子
2023-01-12 18:50
社区公告
暂无公告