RocketMQ 消费者多线程

cgxcgx521 2017-05-19 10:40:29

请教各位大拿一个问题，RocketMQ中生产者官方示例是多线程并发处理的，消费端为下文这段解释：

对于消费端来说，SDK 提供了消费线程数的配置项 PropertyKeyConst.ConsumeThreadNums，Java SDK默认是20，其他 SDK 默认是当前 CPU 核数。用户需要根据自己的服务器性能和业务需求来配置。

想问各位在实际应用中，消费端是如何处理的，是启多线程并发消费还是仅仅只是设置一个参数值呢，望解答！

阿里官方说明

...全文

1174 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

Producer: 生产者，负责生产消息并发送到消息引擎。测评开始时，测评程序会启动10~20个Producer，每个Producer在一条线程中，然后每个Producer随机生产某个Topic或者附属于Queue的消息并发送到消息引擎； Topic: 消息主题。 Queue: 队列。抽象的概念，消息可以发送到特定的队列，或者属于某个特定的Topic Consumer：消费者。每个消费者必须attach到某个特定的Queue上，而且Consumer和Queue是一一对应关系。同时，Consumer可以订阅多个Topic。测评程序开始消费时，会启动10~20个Consumer，每个Consumer属于一条线程，而且attach到一个queue上，并订阅多个Topic。对于被多个Consumer订阅的某个Topic，这些Consumer直接的消费应该是独立的，也就是每个Consumer都应该全量消费这个Topic的消息。

2019独角兽企业重金招聘Python工程师标准>>> ...

两种消费模式在RocketMQ中，Consumer端的两种消费模式（Push/Pull）都是基于拉模式来获取消息的，而在Push模式只是对pull模式的一种封装，其本质实现为消息拉取线程在从服务器拉取到一批消息后，然后提交到消息消费线程池后，又“马不停蹄”的继续向服务器再次尝试拉取消息。如果未拉取到消息，则延迟一下又继续拉取。 rocketmq的消费是靠client进程主动请求broker的逻辑队列，拿到一个索引，然后再从CommitLog里面读取真正的消息内容。 PullConsumer 启动过程

最近在新项目开发中遇到一个有趣的问题，如何在 SpringBoot 项目中控制 RocketMQ 消费线程数量。如何设置单个 topic 消费线程的最小数量和最大数量，用来区分不同 topic 吞吐量不同。我们先介绍一下 RocketMQ 消息监听再来说明 RocketMQ 消费线程。设置消费者组为 my_consumer_group，监听 TopicTest 队列，并使用并发消息监听器MessageListenerConcurrently 1public class Consumer { 2 3

背景 Rocketmq 消费者在高峰期希望手动减少消费线程数，通过DefaultMQPushConsumer.updateCorePoolSize方法可以调用内部的ThreadPoolExecutor.setCorePoolSize设置多线程核心线程数。那么是否能够通过调整参数动态调整Rocketmq消费者呢。结论和实现方案可以通过调整核心线程数减少RocketMQ 消费线程数先挂起消费者consumer.suspend() 然后休眠至少1分钟以上，等任务全部消费完成，1分钟是基于Consume

67,538

社区成员

225,852

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章