性能敏感的队列实现问题

July-2010 2019-03-19 01:58:38

今天接到一个需求，要求实现一个性能敏感的高速队列，场景为典型的单生产者单消费者，生产者定期（1ms 2次，1次约2k Byte数据）将数据放入队列，消费者数据处理完后取下一条数据，每条数据处理时间不确定，平均处理时间小于生产时间；要求在CPU 3.4GHz主频资源充足的情况下，入队、出队的平均时间低于500us；数据具有时效性，如果消费者来不及消费，可丢弃时间最长的未被处理的数据，觉得挺有意思的，就发上来，各位大佬如何看待这样的需求？有什么样好的实践能符合这样的需求？希望我们能一起交流，当然，交流时候我们可以扩展到多生产者多消费者场景，多生产者单消费者和单生产者多消费者场景，一起来讨论队列的性能问题；

...全文

68 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

July-2010 2019-05-06

打赏
举报

回复

江湖评谈 2019-03-19

打赏
举报

回复

这个有点坑处理时间小于生产时间，平均实际低于500us,这种性能， 3.4hz的 CPU能承受吗？先提升你的硬件吧

java算法大全，有近100多种常见算法的源代码，是学习JAVA算法的难得资料。

类似QQ的全套聊天系统[极品] 源码

一、阻塞队列由于阻塞队列（BlockingQueue）是加了锁的，所以在阻塞队列是一个性能瓶颈，影响中间件传输数据速度。二、disruptor Disruptor是一个无锁高性能安全的队列三、JCTools 最后采用了一种github上实现的无锁、线程安全的队列（类似于阻塞队列，用atomicLong实现以至于无锁，同时解决了伪共享问题） https://github.com/JCTools/JCTools https://github.com/JCTools/J...

1.阻塞队列实现原理阻塞队列与普通队列的区别在于，阻塞队列提供了可阻塞的put和take方法。如果队列是空的，消费者使用take方法从队列中获取数据就会被阻塞，直到队列有数据可用；当队列是满的，生产者使用put方法向队列里添加数据就会被阻塞，直到队列中数据被消费有空闲位置可用 2.JUC提供了7种适合与不同应用场景的阻塞队列。 1）ArrayBlockingQueue：基于数组实现的有界阻塞队列。 2）LinkedBlockingQueue：基于链表实现的有界阻塞队列。 3）PriorityBlocki

RabbitMQ是一个由Erlang语言开发的AMQP（高级消息队列协议）开源实现，它提供了丰富的API供开发者使用，并且支持多种消息协议。RabbitMQ的主要功能包括消息的生产、存储、消费和路由等，通过灵活的路由规则和消息队列机制，实现了系统间的解耦和异步通信。RabbitMQ作为一款高性能、高可靠性的开源消息队列系统，在分布式系统和服务化架构中发挥着重要作用。通过深入理解RabbitMQ的基本概念工作原理和使用场景等方面的知识，我们可以更好地利用RabbitMQ解决系统间的通信和协作问题。

62,628

社区成员

307,259

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章