38_数仓采集_Kafka Manager安装及脚本

zhchzh1000 2023-01-12 18:50:09

课时名称	课时知识点
38_数仓采集_Kafka Manager安装及脚本	38_数仓采集_Kafka Manager安装及脚本

...全文

2 回复打赏收藏举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

相关推荐

一、课程简介

随着技术的飞速发展，经过多年的数据积累，各互联网公司已保存了海量的原始数据和各种业务数据，所以数据仓库技术是各大公司目前都需要着重发展投入的技术领域。数据仓库是面向分析的集成化数据环境，为企业所有决策制定过程，提供系统数据支持的战略集合。通过对数据仓库中数据的分析，可以帮助企业改进业务流程、控制成本、提高产品质量等。

二、课程内容

本次精心打造的数仓项目的课程，从项目架构的搭建，到数据采集模块的设计、数仓架构的设计、实战需求实现、即席查询的实现，我们针对国内目前广泛使用的Apache原生框架和CDH版本框架进行了分别介绍，Apache原生框架介绍中涉及到的技术框架包括Flume、Kafka、Sqoop、MySql、HDFS、Hive、Tez、Spark、Presto、Druid等，CDH版本框架讲解包括CM的安装部署、Hadoop、Zookeeper、Hive、Flume、Kafka、Oozie、Impala、HUE、Kudu、Spark的安装配置，透彻了解不同版本框架的区别联系，将大数据全生态系统前沿技术一网打尽。在过程中对大数据生态体系进行了系统的讲解，对实际企业数仓项目中可能涉及到的技术点都进行了深入的讲解和探讨。同时穿插了大量数仓基础理论知识，让你在掌握实战经验的同时能够打下坚实的理论基础。

三、课程目标

本课程以国内电商巨头实际业务应用场景为依托，对电商数仓的常见实战指标以及难点实战指标进行了详尽讲解，具体指标包括：每日、周、月活跃设备明细，留存用户比例，沉默用户、回流用户、流失用户统计，最近连续3周活跃用户统计，最近7天内连续3天活跃用户统计，GMV成交总额分析，转化率及漏斗分析，品牌复购率分析、订单表拉链表的设计等，让学生拥有更直观全面的实战经验。通过对本课程的学习，对数仓项目可以建立起清晰明确的概念，系统全面的掌握各项数仓项目技术，轻松应对各种数仓难题。

四、课程亮点
本课程结合国内多家企业实际项目经验，特别加入了项目架构模块，从集群规模的确定到框架版本选型以及服务器选型，手把手教你从零开始搭建大数据集群。并且总结大量项目实战中会遇到的问题，针对各个技术框架，均有调优实战经验，具体包括：常用Linux运维命令、Hadoop集群调优、Flume组件选型及性能优化、Kafka集群规模确认及关键参数调优。通过这部分学习，助学生迅速成长，获取前沿技术经验，从容解决实战问题。

上篇：电商数仓第5节日志采集分析、ETL拦截器、分类型拦截器及脚本编写 1、Kafka安装架构图 Kafka集群安装详见：参照自己上次写的博客： Kafka集群部署集群规划：服务器hadoop1.x 服务器hadoop2.x 服务器hadoop2.x Kafka Kafka Kafka Kafka Kafka集群启动停止脚本在/home/MrZhou/bi...

上篇：电商数仓第6节数仓采集Kafka Manager安装脚本测试 1、项目经验之Kafka压力测试 Kafka压测用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈CPU，内存，网络IO）。一般都是网络IO达到瓶颈 kafka-consumer-perf-test.sh kafka-producer-perf-test.sh Kafk...

（3）修改配置文件（4）zookeeper群起/关脚本 2 kafka集群安装（1）集群规划服务器hadoop101 服务器hadoop102 服务器hadoop103 Kafka Kafka Kafka Kafka （2）安装流程（3）kafka群起/关脚本（4）kafka常用命令（5）kafka项目经验（a）producer压力测试用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO）。

配置日志日志输出脚本代码修改时间dt同步时间ct安装hadoop(hadoop103)集群的启动和停止脚本hd安装LZO压缩安装zookeeper启动脚本zkFlume(采集日志)安装Kafka启动脚本kafka Managerkafka MonitorKafkaChannel第一层通道的编写SourceChannel拦截器代码第一层采集通道启动脚本(f1)第二层采集通道第二层采集通道启动脚本f2一键全启脚本onekeyboot 日志将log-collector-1.0-SNAPSHOT-jar-with

发帖

张长志的课程社区_NO_5

1

社区成员

538

社区内容

社区管理员

加入社区

帖子事件

创建了帖子

2023-01-12 18:50

社区公告

暂无公告