关于kafka的partition的疑问

万物皆字节 2017-11-19 09:51:09
看过一篇文章

parition是物理上的概念，每个topic包含一个或多个partition，创建topic时可指定parition数量。每个partition对应于一个文件夹，该文件夹下存储该partition的数据和索引文件

如果一个topic指定了多个partition，那么一个消息从producer发送到brocker后每个partition保存的信息是完全一样的吗？还是说这几个partition中保存的消息组合起来是一个完整的消息呢?
...全文
331 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
新的人生即将开始 2017-11-23
  • 打赏
  • 举报
 回复
好久没有用到kafka了
zwbonline1112 2017-11-20
  • 打赏
  • 举报
 回复
Kafka一般处理10K大小的短小消息，此时吞吐性能最好，一个消息一般只到一个 partition，但这个 partition 会在多台 server 上 replication；
软件求生 2017-11-20
  • 打赏
  • 举报
 回复
都是一样的。
大数据之kafka详解
Apache Kafka是一个开源消息系统，由Scala写成。...本教程从kafka概述开始,讲解了kafka的集群部署,详细的工作流程,java api操作,kafka的拦截器,以及kafka streams和kafka与flume的交互.让你快速上手kafka.
Kafka Partition分配机制及实践解析
Kafka的Partition分配机制主要用于将Producer发送的消息均匀地分布到多个Broker上，以实现数据的并行处理和高可用性。当创建一个新的Topic或者新增Broker时，Kafka会自动为每个Partition选择一个Leader Broker，并将其余的Replica Brokers作为备份。本文将详细解析Kafka中的Partition分配机制，并提供相应的源代码示例。Producer发送的消息会根据Key的散列值被分配到不同的Partition，并通过回调函数获取发送结果。
关于kafka中一个consumer消费多个partition时消息拉取的问题
今天思考的时候突然想到一个问题。正常情况下，我们都知道一个partition只能被同一个消费组中的一个consumer消费，而且实际场景中，一般我们都是consumer多于partition或者等于partition，也就是，一个consumer只会从一个partition里pull消息。 但是如果consumer比partition数量要少时，一个consumer就会对应多个partition，这个时候它会怎么拉消息呢？你的配置文件max.poll.records到底是从一个partition拉取的消息最
kafka consumer 消费到 ERR__PARTITION_EOF问题
kafka ERR__PARTITION_EOF的解释。
Mac电脑安装Zulu Open JDK 8 使用 spring-kafka 消费不到Kafka Partition中的消息
使用Mac电脑本地启动spring-kakfa消费不到Kafka的消息，监控消费组的消息偏移量发现存在Lag的消息，但是本地客户端就是拉取不到，通过部署到公司k8s容器上消息却能正常消费！
Java

50,535

社区成员

85,618

社区内容

发帖
与我相关
我的任务
社区描述
Java相关技术讨论
javaspring bootspring cloud 技术论坛（原bbs）
社区管理员
  • Java相关社区
  • 小虚竹
  • 谙忆
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章