38_数仓采集_Kafka Manager安装及脚本

zhchzh1000 2023-01-12 18:50:09

课时名称	课时知识点
38_数仓采集_Kafka Manager安装及脚本	38_数仓采集_Kafka Manager安装及脚本

...全文

33 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

上篇：电商数仓第5节日志采集分析、ETL拦截器、分类型拦截器及脚本编写 1、Kafka安装架构图 Kafka集群安装详见：参照自己上次写的博客： Kafka集群部署集群规划：服务器hadoop1.x 服务器hadoop2.x 服务器hadoop2.x Kafka Kafka Kafka Kafka Kafka集群启动停止脚本在/home/MrZhou/bi...

上篇：电商数仓第6节数仓采集Kafka Manager安装脚本测试 1、项目经验之Kafka压力测试 Kafka压测用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈CPU，内存，网络IO）。一般都是网络IO达到瓶颈 kafka-consumer-perf-test.sh kafka-producer-perf-test.sh Kafk...

电商数仓(数据采集模块) 写在前面：本文是我在学习电商数仓项目的过程中，对相关知识点的记录与总结。文章目录电商数仓(数据采集模块)1. Hadoop 安装1.1 安装 Hadoop1.2 Hadoop 集群启动停止脚本2. Zookeeper 安装2.1 安装 ZK2.2 ZK 集群启动停止脚本3. 日志生成3.1 日志启动3.2 集群日志生成启动脚本3.3 集群时间同步脚本3.4 集群查看所有进程脚本4. Flume 采集日志4.1 安装 Flume4.2 日志采集 Flume 配置4.3 日志采集

一、基础工程构建创建父工程 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/...

数据库大数据量、高并发、高可用解决方案，十万字图文详解mysql、redis、kafka、elasticsearch（ES）多源异构不同种类数据库集成、数据共享、数据同步、不同中间件技术实现与方案，如何构建数据仓库、数据湖、数仓一体化？Delta Lake、Apache Hudi和Apache Iceberg数仓一体化技术架构实现。

张长志的课程社区_NO_5

1

社区成员

538

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章