Kafka由于使用clientid字段限速导致发送消息失败问题

AlexeiArtyom 2018-04-16 10:37:01

服务器上kafka设置了clientid属性"producer_byte_rate":"1024"，导致使用该clientid向该服务器发送kafka消息发生大量失败的情况，在不影响clientid限速的情况下如何修改producer使发送消息不失败？

...全文

1860 1 打赏收藏转发到动态举报

写回复

用AI写文章

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

m0_37599385 2018-07-03

打赏
举报

hi 你个问题暂时无法解决，请教下clientid是如何设置的，是在创建生产者或消费时创建的吗，在创建消费者命令属下下未找到clientid

# Kafka 消息队列 (KRaft模式) ## 课程介绍本课程使用官网文档、源码、物理文件分析等方式带大家入门 KRaft 模式的 Apache Kafka。 Kafka 是一个消息队列，也称作事件流平台、消息系统、消息中间件、消息引擎、消息发布订阅系统等。本课程主要内容为： 1. 环境搭建 - 介绍 Apache Kafka - 下载安装 JDK - 下载安装 Kafka - 修改 PATH 环境变量2. 单台机器集群(KRaft)[1] - 介绍 Kafka 的 KRaft 模式 - 介绍 controller 和 broker - 修改 controller 和 broker 配置3. 单台机器集群(KRaft)[2] - 使用 kafka-storage.sh 格式化数据目录 - 启动 controller，并分析启动日志 - 启动 broker，并分析启动日志 - 使用 kafka-metadata-shell.sh 分析集群元数据4. Broker配置补充 - 补充 listeners、advertised.listeners 等配置 - 使用 kafka-metadata-shell.sh 验证配置修改 - 配置支持内网、外网访问的 broker 配置 - 使用 kafka-console-producer.sh 验证配置修改5. 集群测试 - 介绍消息主题 topic - 使用 kafka-topics.sh 创建主题 - 使用 kafka-metadata-shell.sh 分析元数据 - 使用 kafka-console-producer.sh 生产消息 - 使用 kafka-console-consumer.sh 消费消息 - 分析 broker 消息数据文件6. 可视化工具 - 介绍 Kafdrop - 下载、安装、运行 Kafdrop - 创建主题、删除主题、查看消息数据等 - 介绍 Kafka 主题删除过程7. 三台机器集群(KRaft) - 配置 controller 和 broker - 格式化数据目录 - 启动 controller 和 broker，并分析启动日志 - 分析集群元数据 - 关闭 controller 和 broker8. 主题分区副本 - 介绍主题 topic - 介绍分区 partition - 介绍副本 replica，介绍 leader follower - 分析 broker 数据文件 - 分析主题、分区、副本相关的集群元数据 - 使用 Java 代码指定分区生产消息9. 生产者 - 分析生产者配置 - 分析 Kafka 源码 KafkaConsumerProducerDemo 中的生产者代码 - 使用 Java 代码生产消息，实现消息同步发送、异步发送 - 分析消息顺序问题 - 分析生产者序列化器 StringSerializer、分区器等源码10. 消费者消费者组 - 介绍消费者配置 - 分析 Kafka 源码 KafkaConsumerProducerDemo 中的消费者代码 - 使用 Java 代码消费消息 - 介绍并演示消费者组 consumer group - 介绍并演示消费者再平衡过程 consumer rebalance - 介绍并演示自动重置消费位移 - 分析消费者反序列化器 StringDeserializer、控制台消费者 kafka.tools.ConsoleConsumer 等源码 ## 相关截图

kafka中的配额管理（限速）机制 kafka支持配额管理，从而可以对Producer和Consumer的produce&fetch操作进行流量限制，防止个别业务压爆服务器。本文主要介绍如何使用kafka的配额管理功能。 1 Kafka Quatas简介 Kafka配额管理所能配置的对象（或者说粒度）有3种： user + clientid user clientid 这3种...

Kafka自0.9.0.0版本引入了配额管理(quota management)，旨在broker端对clients发送请求进行限流(throttling)。目前Kafka支持两大类配额管理：网络带宽（network bandwidth）配额管理：定义带宽阈值来限制请求发送速率，阈值单位是字节/秒，即bytes/s。该功能是0.9.0.0版本引入的 CPU配额管理：定义CPU使用率阈值来限制请求发送速率，阈值以百分比的形式给出，如quota = 50表示50%的CPU使用率上限。该功能是0.11.0.

从今天开始，我们正式进入到第 5 大模块“副本管理模块”源码的学习。在 Kafka 中，副本是最重要的概念之一。为什么这么说呢？在前面的课程中，我曾反复提到过副本机制是 Kafka 实现数据高可靠性的基础。具体的实现方式就是，同一个分区下的多个副本分散在不同的 Broker 机器上，它们保存相同的消息数据以实现高可靠性。对于分布式系统而言，一个必须要解决的问题，就是如何确保所有副本上的数据是一致的。

kafka各个重难点大全，超详细

Hadoop生态社区

20,809

社区成员

4,691

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章