38_数仓采集_Kafka Manager安装及脚本

zhchzh1000 2023-01-12 18:50:09

课时名称	课时知识点
38_数仓采集_Kafka Manager安装及脚本	38_数仓采集_Kafka Manager安装及脚本

...全文

46 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。第1章数仓之Cloudera Manager 1.1CM简介1.1.1 CM简介1.1.2 CM架构 1.2 阿里云服务器准备 1.2.1 注册阿里云账户 1.2.2 购买ECS云服务器 1.2.3 ECS配置及安全组修改 1.3CM部署前准备 1.3.1 连接阿里云服务器 1.3.2 修改hosts文件 1.3.3 SSH免密登录 1.3.4 集群同步脚本 1.3.5 集群整体操作脚本 1.3.6 安装JDK(五台) 1.3.7 安装MySQL 1.4CM安装部署 1.4.1 MySQL中建库 1.4.2CM安装 1.5 CM的集群部署 1.5.1 接受条款和协议 1.5.2 集群安装 1.5.3 指定主机 1.5.4 选择CDH版本6.3.2 1.5.5 等待下载安装 1.5.6 检查网络性能，检查主机 1.5.7 群集设置第2章数仓之数据采集模块 2.1 HDFS、YARN、Zookeeper安装 2.1.1 选择自定义安装 2.1.2 选择安装服务 2.1.3 分配节点 2.1.4 集群设置全部选默认即可 2.1.5 自动启动进程 2.1.6 配置NameNode HA 2.1.7 配置Yarn HA 2.2 Kafka安装 2.2.1 Kafka安装 2.2.2 查看Kafka Topic 2.2.3 创建 Kafka Topic 2.2.4 删除 Kafka Topic 2.3 Flume安装第3章数仓之数仓搭建环境准备A 43.1 Hive安装 3.1.1 添加服务 3.1.2 添加Hive服务 ......

上篇：电商数仓第5节日志采集分析、ETL拦截器、分类型拦截器及脚本编写 1、Kafka安装架构图 Kafka集群安装详见：参照自己上次写的博客： Kafka集群部署集群规划：服务器hadoop1.x 服务器hadoop2.x 服务器hadoop2.x Kafka Kafka Kafka Kafka Kafka集群启动停止脚本在/home/MrZhou/bi...

上篇：电商数仓第6节数仓采集Kafka Manager安装脚本测试 1、项目经验之Kafka压力测试 Kafka压测用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈CPU，内存，网络IO）。一般都是网络IO达到瓶颈 kafka-consumer-perf-test.sh kafka-producer-perf-test.sh Kafk...

电商数仓(数据采集模块) 写在前面：本文是我在学习电商数仓项目的过程中，对相关知识点的记录与总结。文章目录电商数仓(数据采集模块)1. Hadoop 安装1.1 安装 Hadoop1.2 Hadoop 集群启动停止脚本2. Zookeeper 安装2.1 安装 ZK2.2 ZK 集群启动停止脚本3. 日志生成3.1 日志启动3.2 集群日志生成启动脚本3.3 集群时间同步脚本3.4 集群查看所有进程脚本4. Flume 采集日志4.1 安装 Flume4.2 日志采集 Flume 配置4.3 日志采集

G:\Bigdata\Projects\电商数仓4.0数据仓库（ Data Warehouse ），是为企业制定决策，提供数据支持的。可以帮助企业，改进业务流程、提高产品质量等。和等就是各行业在处理事务过程中产生的数据。比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据业务数据通常存储在MySQL、Oracle等数据库中。：用户在使用产品过程中，通过埋点收集与客户端产品交互过程中产生的数据，并发往日志服务器进行保存。

张长志的课程社区_NO_5

1

社区成员

538

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章