kafka多Consumer消息分发问题

说好不能打脸

Java领域优质创作者

博客专家认证

2014-08-21 04:55:13

情况是这样的，在我们系统中有多个Consumer的客户端（客户端个数是不确定的，因为在系统工作过程中有的业务节点会脱离，有些业务节点会增加进来），Producer也有多个。

但是Producer发送的消息种类只有一种，所以topic只创建了一个，消息量很大，所以使用了多个Consumer来处理。

现在想实现如下的订阅/推送效果，

多个Producer进行消息的推送，例如消息X1、X2、X3、X4、X5.。。。。。。然后由多个Consumer分别进行拉去，

Consumer1拉取到：X1、X4、X7。。。
Consumer2拉取到：X2、X5、X8.。。。
。。。。。如此类推

请问问各位大神，这个效果应该怎么配置呢？

...全文

18906 15 打赏收藏转发到动态举报

写回复

15 条回复

切换为时间正序

请发表友善的回复…

发表回复

独自旅行Ysh 2018-08-11

打赏
举报

回复

建议编程，因为设计好的基础是你得是一个厉害的程序员，要不然做设计发展不大。

YY98269826 2018-06-03

打赏
举报

回复

我现在在学计算机，马上分专业了，可是不知道学设计好还是编程好，能帮我分析下么

sdfdsfsfxxx 2017-01-09

打赏
举报

回复

设置key进行hash到同个partition

Vanquishing 2016-10-01

打赏
举报

回复

虽然过了很久但是看到还是想说说自己的想法：可以在一个topic下开两个partition，然后producer在send消息的时候指定partition，这样可以保证在产生的时候就进行分组，以为消费的时候只能顺序消费，kafka是不允许消费者进行随机读写的，所以必须从生产者端就考虑分组。然后开两个消费者，每个消费者在topicCountMap的时候只开一个线程，可以保证两个消费者去消费不同的partition 这算是我的猜测拙见吧

baidu_22548363 2016-04-13

打赏
举报

回复

用多个partition和多个consumer去消费，因为在kafka的设计中，一个partition是不允许并发的，所以在你的设计中，只有一个consumer可以fetch到message。

yuyu051803818578 2015-12-08

打赏
举报

回复

@yinwenjie 现在这个完成了吗？

说好不能打脸 2014-08-22

打赏
举报

回复

感谢这位大哥的分享了，有一些借鉴作用。

zhxianbin 2014-08-21

打赏
举报

回复

http://my.oschina.net/ielts0909/blog?catalog=263107

zhxianbin 2014-08-21

打赏
举报

回复

引用 5 楼 yinwenjie 的回复:

大哥能说详细点吗？我在开发包里面好像没有看到Dispatcher 相关的内容，网上查了查好像也没有。。。。

我理解错了，我以为自己设计的，kafka 没做过

说好不能打脸 2014-08-21

打赏
举报

回复

目前我的做法是这个topic下面只创建一个Partition。然后所有的Consumer 放到一个group里面，这样是这些Consumer 只有一个能够收到message，其他的Consumer 一直收不到消息。。。。

说好不能打脸 2014-08-21

打赏
举报

回复

大哥能说详细点吗？我在开发包里面好像没有看到Dispatcher 相关的内容，网上查了查好像也没有。。。。

zhxianbin 2014-08-21

打赏
举报

回复

应该是 procuder 写队列，Dispatcher 读队列，然后分发给 Consumer

说好不能打脸 2014-08-21

打赏
举报

回复

版主帮帮看看吧

说好不能打脸 2014-08-21

打赏
举报

回复

对的，大概就是这个意思，有点像AMQP消费者自带的那种消息分发

zhxianbin 2014-08-21

打赏
举报

回复

楼主的意思是多个 producer 随机产生消息顺序存放，但多个 Consumer 轮流顺序获取？

Kafka是由LinkedIn开发并开源的分布式消息系统，因其分布式及高吞吐率而被广泛使用，现已与ClouderaHadoop，ApacheStorm，ApacheSpark集成。本文介绍了Kafka的创建背景，设计目标，使用消息系统的优势以及目前流行的消息系统对比。并介绍了Kafka的架构，Producer消息路由，ConsumerGroup以及由其实现的不同消息分发方式，Topic&Partition，最后介绍了KafkaConsumer为何使用pull模式以及Kafka提供的三种deliveryguarantee。Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn

整个架构中包括三个角色。生产者（Producer）:消息和数据生产者代理（Broker）:缓存代理，Kafka的核心功能消费者（Consumer）:消息和数据消费者整体架构很简单，Kafka给Producer和Consumer提供注册的接口，数据从Producer发送到Broker，Broker承担一个中间缓存和分发的作用，负责分发注册到系统中的Consumer。　Kafka非常高效，下面介绍Kafka高效的原因，对理解Kafka非常用帮助。直接使用Linux文件系统的Cache来高效缓存数据采用LinuxZero-Copy提高发送性能。传统的数据发送需要发送4次上下切换，采用Sendfile

内容简介： Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。本课程主要是讲解分布式架构下的异步消息通信机制的解决方案Kafka，从Kafka的产生背景、到Kafka 的基本应用、最后再深入分析Kafka的原理进行整体的梳理和分析。为什么需要学习kafka？ Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。课程大纲：为了让大家快速系统了解Kafka技术知识全貌，我为你总结了「Kafka核心技术框架图」,帮你梳理学习重点，建议收藏！！

使用Flask构建咖啡厅订单服务器和容器分发使用烧瓶的咖啡订单，使用kafka的数据同步和更新，通过docker分发 order_ms容器执行 docker run -d -p 15000:5000 --network my-coffee-network --name order_ms 1yangsh/order-ms MySQL运行 docker run -d -p 13306:3306 --network my-coffee-network -e MYSQL_ALLOW_EMPTY_PASSWORD=true --name mydb mysql:5.7 kafka_consumer_ms执行 docker run -d --network my-coffee-network --name kafka_consumer 1yangsh/kafka_consumer

一、消息分发机制 1.1 kafka 消息分发策略消息是 kafka 中最基本的数据单元，在 kafka 中，一条消息由key、value两部分构成，在发送一条消息时，我们可以指定这个key，那么 producer 会根据 key 和partition 机制来判断当前这条消息应该发送并存储到哪个 partition 中。我们可以根据需要进行扩展 producer 的 partition 机制。代码示例可移步：kafka 应用实战的第五点自定义分区（Partitioner） 1.2、消息默认的分发机制

Linux/Unix社区

18,773

社区成员

11,463

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章