消费者如何消费数据

wlxs32 2023-01-13 02:19:23

课时名称	课时知识点
消费者如何消费数据	讲解消费在Kafka中的消费策略。

...全文

137 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

Dubbo入门实例Demo 新手入门遇到好多麻烦,网上搜来的入门demo也是各种问题,百般周折自己终于倒腾出来了,与大家共享~

在多线程开发中，如果生产者生产数据的速度很快，而消费者消费数据的速度很慢，那么生产者就必须等待消费者消费完了数据才能够继续生产数据，因为生产那么多也没有地方放啊；同理如果消费者的速度大于生产者那么消费者就会经常处理等待状态，所以为了达到生产者和消费者生产数据和消费数据之间的平衡，那么就需要一个缓冲区用来存储生产者生产的数据，所以就引入了生产者-消费者模式。

今天测试遇到了问题，kafka生产者和消费者端的数据不一致，而且数据相差还比较大，测试生产10000条数据 消费者有时候能消费10000条有时候只能消费9多条，最开始以为是ack等等的设置，之后调整了一些生产者的参数，发现还是有问题，最后还是另外一个同事发现了最根本的问题。kafka生产者是异步生产数据，我写了个测试方法在main函数里面用for循环模拟发送10000条数据，就是因为这个main

生产者-消费者问题经典的同步互斥问题，也称作“有界缓冲区问题”。具体表现为：1.两个进程对同一个内存资源进行操作，一个是生产者，一个是消费者。2.生产者往共享内存资源填充数据，如果区域满，则等待消费者消费数据。3.消费者从共享内存资源取数据，如果区域空，则等待生产者填充数据。4.生产者的填充数据行为和消费者的消费数据行为不可在同一时间发生。 ...

生产者通过分区的 leader 写入数据后，所有在 ISR 中 follower 都会从 leader 中复制数据，这样，可以确保即使 leader 崩溃了，其他的follower的数据仍然是可用的。说明：如果 broker 迟迟不给 ack，而 buﬀer 又满了，开发者可以设置是否直接清空 buﬀer 中的数据。在所有消费队列当中，在消费数据的流程分为两种：推模式（push）、拉模式（pull）在消费者消费数据的时候，只要每个消费者记录好oﬀset值即可，就能保证数据不丢失。...

李连宇的课程社区_NO_1

1

社区成员

198

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章