请教高手:消息队列排队处理繁忙如何处理?

guqs 2003-10-16 06:01:57
我的系统的服务程序,一个程序(5个进程)负责接受TCP/IP交易请求,并写入消息队列;另外有一个程序(5个进程)读出消息队列并提交的数据库处理,当数据库处理慢时,等待超时就丢弃并取下一个消息,超时设为30秒。
现在的问题是,有时数据库由于其他应用的原因,交易阻塞,连续多个交易超时,很快占满了所有进程。当30秒进程超时放弃,取下一个消息时,下一个消息已经超时,于是再取下一个消息,同时前端还一直有消息进来,这样,进程每次取到的消息都是已经等待了30秒以上的交易,都不断的放弃。这样一来,后面的新消息一直就没有机会处理,一直等到可以处理时又超时了。除非停止前端提交请求,否则一直没有机会恢复到可以正常提交到数据库处理。但前端用户很多,每个用户都在不断提交,超时了又重提交....
我怎样处理才能使程序自动跳出这个排队的僵局?系统能自动恢复。现在每次发生这种现象我只有重起程序(重起会杀掉所有的消息)。
另外:我的系统程序是Unix 下C编写的。
...全文
252 4 打赏 收藏 转发到动态 举报
写回复
用AI写文章
4 条回复
切换为时间正序
请发表友善的回复…
发表回复
guqs 2003-10-24
  • 打赏
  • 举报
回复
1、数据库是因为其他业务的原因导致这边业务的处理超时,是偶发的,
也没办法解决。因为另外业务的确很占用数据库,数据库已经用的oracle和
小型机,我也知道数据库是关键,但也没办法。不受其他业务影响的情况下,
我的系统是不会出现这种情况的。我这块业务数据处理非常快。
2、目前只有加大进程数。我现在想到的办法是,前端接受请求的进程安排10
个,而负责读取消息并提交后台处理的进程增加到20个,这样也许就不会出
现解不开。只要数据库恢复性能,就立即能接受并处理新的请求是我的目的。
现在正在观察看是否解决了这个问题。检测了几天,目前一直没有出现问题,
也许解决了吧?
shenxinyu 2003-10-23
  • 打赏
  • 举报
回复
1、优化数据库处理速度,减少多表查询
2、数据库分库,读写分开,甚至分布到不同机器
3、更换更快的机器
sunshinethinking 2003-10-22
  • 打赏
  • 举报
回复
1。优化数据库的处理,提高处理速度(这是最重要的一点,否则怎么也解决不了)
2。增加服务进程数目(由5个增加到另外一个数量级别),这样同时提交给数据库操作的服务就多了,消息队列阻塞的情况就少些

不过总的来说,一般都是对数据库的操作进行优化,这才是问题的症结所在
yang7999 2003-10-22
  • 打赏
  • 举报
回复
消息队列可以采用双向的方式
消息中间件利用高效可靠的消息传递机制进行平台无关的数据交流,并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型,它可以在分布式环境下扩展进程间的通信。消息中间件适用于需要可靠的数据传送的分布式环境。采用消息中间件机制的系统中,不同的对象之间通过传递消息来激活对方的事件,完成相应的操作。发送者将消息发送给消息服务器,消息服务器将消息存放在若干队列中,在合适的时候再将消息转发给接收者。消息中间件能在不同平台之间通信,它常被用来屏蔽掉各种平台及协议之间的特性,实现应用程序之间的协同,其优点在于能够在客户和服务器之间提供同步和异步的连接,并且在任何时刻都可以将消息进行传送或者存储转发,这也是它比远程过程调用更进一步的原因。在了解消息中间件之前,首先了解两个基本概念Message和Queue。Message :消息“消息”是在两台计算机间传送的数据单位。消息可以非常简单,例如只包含文本字符串;也可以更复杂,可能包含嵌入对象。Queue:消息队列,用来保存消息直到发送给消费者。它是消息的容器,也是消息的终点。一个消息可投入一个或多个队列。消息一直在队列里面,等待消费者连接到这个队列将其取走。队列的主要目的是提供路由并保证消息的传递;如果发送消息时接收者不可用,消息队列会保留消息,直到可以成功地传递它。消息队列的主要特点是异步处理,主要目的是减少请求响应时间和解耦。所以主要的使用场景就是将比较耗时而且不需要即时(同步)返回结果的操作作为消息放入消息队列。同时由于使用了消息队列,只要保证消息格式不变,消息的发送方和接收方并不需要彼此联系,也不需要受对方的影响,即解耦和。这也是消息中间件的意义所在。

23,120

社区成员

发帖
与我相关
我的任务
社区描述
Linux/Unix社区 应用程序开发区
社区管理员
  • 应用程序开发区社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧