python 多进程队列无法正常退出

2013-03-27 04:50:08 958 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

使用multiprocesss模块进程通信采用队列方式，子进程run执行完一直不能退出的问题使用multiprocesss模块进程间通过消息队列传递日志信息导致的父子进程不能正常结束的问题。阅读详情

vi test_m.py
#!/usr/bin/python
import multiprocessing
import time

def queueuein(minid,maxid,id,queue):
while True:
if minid<id:
if minid+9999>=id:
maxid=id
print "minid:%s,maxid:%s" % (minid,maxid)
elif minid+9999<id:
maxid=minid+9999
print "minid:%s,maxid:%s" % (minid,maxid)
queue.put(minid,maxid)
minid=maxid+1
else :
print "i'm quit:%s,%s" % (minid,maxid)
break

def main():
print "Time Begin:",time.strftime('%Y-%m-%d %X',time.localtime())
queue=multiprocessing.Queue()
process = multiprocessing.Process(target=queueuein,args=(1,0,184880596,queue,))
process.start()
process.join()
if __name__ == '__main__':
main()

执行结果：
...
minid:184860001,maxid:184870000
minid:184870001,maxid:184880000
minid:184880001,maxid:184880596
i'm quit:184880597,184880596
光标停在此处无法退出

问题：
加了queue.put(minid,maxid) 后貌似就阻塞了，进程一直无法退出。请问应该怎么操作？

...全文

Python使用队列(multiprocess.Queu)进行多进程通信遇到的坑问题：在使用multiprocessing.Queue进行多进程传递数据时，明明进程已经执行完毕，却在执行join()时发生不明阻塞。代码： from multiprocessing import Process, Queue, current_process def main(): plist = [] queue = Queue() for i in ran... 阅读详情

leoxqing

脚本语言 37,737 成员 34,208 内容

+ 关注 + 加入社区

切换为时间正序

leoxqing 2013-03-28

打赏
举报

[root@yetest01 app]# cat test_m.py #!/usr/bin/python import multiprocessing import time import sys def run(queue): while True: if queue.qsize()>0: mid=queue.get() print "queid:%s,size:%s" % (mid,queue.qsize()) else: print "queue empty" break def queueuein(minid,maxid,id,queue): while True: if minid<id: if minid+9999>=id: maxid=id elif minid+9999<id: maxid=minid+9999 queue.put(minid) minid=maxid+1 else : print queue.qsize() queue.cancel_join_thread() print "i'm quit:%s,%s" % (minid,maxid) break def main(): print "Time Begin:",time.strftime('%Y-%m-%d %X',time.localtime()) queue=multiprocessing.Queue() process = multiprocessing.Process(target=queueuein,args=(1,0,184880596,queue,)) process.start() process.join() run(queue) if __name__ == '__main__': main() 改成这样了，在读取的时候发现队列执行到13032就又阻塞了，执行结果如下： .... queid:54510001,size:13037 queid:54520001,size:13036 queid:54530001,size:13035 queid:54540001,size:13034 queid:54550001,size:13033 queid:54560001,size:13032 阻塞中... 这是怎么个情况啊？

leoxqing 2013-03-28

打赏
举报

引用 1 楼 angel_su 的回复:

文档有提到使用queue会死锁的问题，函数queueuein最后退出的地方，加行代码调用queue.cancel_join_thread()

加了cancel_join_thread()后貌似队列数据就销毁了，其他进程调用不到了！

leoxqing 2013-03-28

打赏
举报

引用 6 楼 angel_su 的回复:

multiprocessing借用threading的api，可是有些细节不同，头很大。试试改了下下，queue最后放进一个结束记号，方便写代码和判断情况，这样貌似能正常了...Python code?123456789101112131415161718192021222324252627282930313233343536373839import multiproce……

谢谢！太感谢了！

angel_su 2013-03-28

打赏
举报

multiprocessing借用threading的api，可是有些细节不同，头很大。试试改了下下，queue最后放进一个结束记号，方便写代码和判断情况，这样貌似能正常了...

import multiprocessing
import time
import sys

def run(queue):
         while True:
            mid=queue.get()
            if mid != -1:#queue.qsize()>0:
                #~ mid=queue.get()
                print "queid:%s,size:%s" % (mid,queue.qsize())
            else:
                print "queue empty"
                break

def queueuein(minid,maxid,id,queue):
    while True: 
        if minid<id:
           if minid+9999>=id:
              maxid=id
           elif minid+9999<id:
              maxid=minid+9999
           queue.put(minid)
           minid=maxid+1
        else :
           #~ print queue.qsize()
           #~ queue.cancel_join_thread()
           queue.put(-1)
           print "i'm quit:%s,%s" % (minid,maxid)
           break

def main():
    print "Time Begin:",time.strftime('%Y-%m-%d %X',time.localtime()) 
    queue=multiprocessing.Queue()
    process = multiprocessing.Process(target=queueuein,args=(1,0,184880596,queue,))
    process.start()
    #~ process.join()
    run(queue)
if __name__ == '__main__':
   main()

leoxqing 2013-03-28

打赏
举报

自己搞明白了。。

rainsbaby 2013-03-27

打赏
举报

哇，看起来好高级

angel_su 2013-03-27

打赏
举报

文档有提到使用queue会死锁的问题，函数queueuein最后退出的地方，加行代码调用queue.cancel_join_thread()

python 多进程队列无法正常退出

相关推荐