请教高手:开发的程序—消息队列繁忙排队连续超时该如何处理?

guqs 2003-10-16 06:03:47
我的系统的服务程序,一个程序(5个进程)负责接受TCP/IP交易请求,并写入消息队列;另外有一个程序(5个进程)读出消息队列并提交的数据库处理,当数据库处理慢时,等待超时就丢弃并取下一个消息,超时设为30秒。
现在的问题是,有时数据库由于其他应用的原因,交易阻塞,连续多个交易超时,很快占满了所有进程。当30秒进程超时放弃,取下一个消息时,下一个消息已经超时,于是再取下一个消息,同时前端还一直有消息进来,这样,进程每次取到的消息都是已经等待了30秒以上的交易,都不断的放弃。这样一来,后面的新消息一直就没有机会处理,一直等到可以处理时又超时了。除非停止前端提交请求,否则一直没有机会恢复到可以正常提交到数据库处理。但前端用户很多,每个用户都在不断提交,超时了又重提交....
我怎样处理才能使程序自动跳出这个排队的僵局?系统能自动恢复。现在每次发生这种现象我只有重起程序(重起会杀掉所有的消息)。
另外:我的系统程序是Unix 下C编写的。
...全文
213 9 打赏 收藏 转发到动态 举报
写回复
用AI写文章
9 条回复
切换为时间正序
请发表友善的回复…
发表回复
guqs 2003-11-13
  • 打赏
  • 举报
回复
1、如何一次删除队列中所有已经超时的消息?
2、我将读消息处理的进程加大到15个(原来和写入一样是10个,两者都以最
快的速度写、读,可能因为这样恢复不了),这样就可以自动恢复了,到
目前还没有再出过问题。
totti0115 2003-11-07
  • 打赏
  • 举报
回复
用多线程呀,这是个很好的技术哟
step_by_step 2003-11-07
  • 打赏
  • 举报
回复
根据我的经验,你可以试试优先队列.自己给消息加上优先级.
terry_guo 2003-11-07
  • 打赏
  • 举报
回复
这是一个经典的生产者--消费者问题,看看UNIX教材也许对你有帮助.

一是:建立等停机制.
二是:建立多队列机制(有限级)
三是:建立消息动态时间机制.
rtdb 2003-11-07
  • 打赏
  • 举报
回复
问题很有意思, 不过对UNIX消息机制不熟,仅供参考:

1.若是读出消息的速度不入写入的快,多半是优先级有问题;
2.若是可能,可在写入消息时进行检查,删掉已超时的队列。
rovoboy 2003-11-07
  • 打赏
  • 举报
回复
----------
看起来读出消息发现超时就丢弃不会花什么时间,岂料这个处理速度竟然赶不上前端提交请求的速度
----------
不可能把,要是读个消息的时间都比提交间隔长的话还怎么处理,就算是处理不花时间也来不及啊。
guqs 2003-10-24
  • 打赏
  • 举报
回复
虽然加入了特别防护,当数据库30秒不返回(有时几分钟才执行完,可能别
的业务将我的给锁住了吧),就自动中断,然后读取下一次消息,发现消息
超时,立即丢弃。我以为这样可以解决问题了。但当提交请求密,同时又碰
上数据库连续超时后,消息队列中堆积了较多请求,到数据库恢复正常处理
时,读出消息发现超时,立即丢弃,再读,还超时。而新交易也飞快的在提
交,等我后面的读到,新交易也超时了。看起来读出消息发现超时就丢弃不
会花什么时间,岂料这个处理速度竟然赶不上前端提交请求的速度;这样即
使数据库可以正常处理了,进程还在不停读到超时消息-放弃-再读....
要是能一次读出所有超时消息,并丢弃,那么也许就没问题了吧。但不知程序
怎样做到?
rovoboy 2003-10-20
  • 打赏
  • 举报
回复
有时数据库由于其他应用的原因,交易阻塞,会阻塞多久?
感觉阻塞过了之后再提交上来的交易就能执行了啊,在队列里等待的时候就超时的消息直接放掉,不会占时间的把
hcj2002 2003-10-19
  • 打赏
  • 举报
回复
study……
消息中间件利用高效可靠的消息传递机制进行平台无关的数据交流,并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型,它可以在分布式环境下扩展进程间的通信。消息中间件适用于需要可靠的数据传送的分布式环境。采用消息中间件机制的系统中,不同的对象之间通过传递消息来激活对方的事件,完成相应的操作。发送者将消息发送给消息服务器,消息服务器将消息存放在若干队列中,在合适的时候再将消息转发给接收者。消息中间件能在不同平台之间通信,它常被用来屏蔽掉各种平台及协议之间的特性,实现应用程序之间的协同,其优点在于能够在客户和服务器之间提供同步和异步的连接,并且在任何时刻都可以将消息进行传送或者存储转发,这也是它比远程过程调用更进一步的原因。在了解消息中间件之前,首先了解两个基本概念Message和Queue。Message :消息“消息”是在两台计算机间传送的数据单位。消息可以非常简单,例如只包含文本字符串;也可以更复杂,可能包含嵌入对象。Queue:消息队列,用来保存消息直到发送给消费者。它是消息的容器,也是消息的终点。一个消息可投入一个或多个队列。消息一直在队列里面,等待消费者连接到这个队列将其取走。队列的主要目的是提供路由并保证消息的传递;如果发送消息时接收者不可用,消息队列会保留消息,直到可以成功地传递它。消息队列的主要特点是异步处理,主要目的是减少请求响应时间和解耦。所以主要的使用场景就是将比较耗时而且不需要即时(同步)返回结果的操作作为消息放入消息队列。同时由于使用了消息队列,只要保证消息格式不变,消息的发送方和接收方并不需要彼此联系,也不需要受对方的影响,即解耦和。这也是消息中间件的意义所在。

69,371

社区成员

发帖
与我相关
我的任务
社区描述
C语言相关问题讨论
社区管理员
  • C语言
  • 花神庙码农
  • 架构师李肯
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧