python 多进程队列无法正常退出

[leoxqing]

vi test_m.py
#!/usr/bin/python
import multiprocessing
import time

def queueuein(minid,maxid,id,queue):
while True:
if minid<id:
if minid+9999>=id:
maxid=id
print "minid:%s,maxid:%s" % (minid,maxid)
elif minid+9999<id:
maxid=minid+9999
print "minid:%s,maxid:%s" % (minid,maxid)
queue.put(minid,maxid)
minid=maxid+1
else :
print "i'm quit:%s,%s" % (minid,maxid)
break

def main():
print "Time Begin:",time.strftime('%Y-%m-%d %X',time.localtime())
queue=multiprocessing.Queue()
process = multiprocessing.Process(target=queueuein,args=(1,0,184880596,queue,))
process.start()
process.join()
if __name__ == '__main__':
main()

执行结果：
...
minid:184860001,maxid:184870000
minid:184870001,maxid:184880000
minid:184880001,maxid:184880596
i'm quit:184880597,184880596
光标停在此处无法退出

问题：
加了queue.put(minid,maxid) 后貌似就阻塞了，进程一直无法退出。请问应该怎么操作？

[angel_su]

文档有提到使用queue会死锁的问题，函数queueuein最后退出的地方，加行代码调用queue.cancel_join_thread()

[rainsbaby]

哇，看起来好高级

[leoxqing]

自己搞明白了。。

[angel_su]

multiprocessing借用threading的api，可是有些细节不同，头很大。试试改了下下，queue最后放进一个结束记号，方便写代码和判断情况，这样貌似能正常了...

import multiprocessing
import time
import sys

def run(queue):
         while True:
            mid=queue.get()
            if mid != -1:#queue.qsize()>0:
                #~ mid=queue.get()
                print "queid:%s,size:%s" % (mid,queue.qsize())
            else:
                print "queue empty"
                break

def queueuein(minid,maxid,id,queue):
    while True: 
        if minid<id:
           if minid+9999>=id:
              maxid=id
           elif minid+9999<id:
              maxid=minid+9999
           queue.put(minid)
           minid=maxid+1
        else :
           #~ print queue.qsize()
           #~ queue.cancel_join_thread()
           queue.put(-1)
           print "i'm quit:%s,%s" % (minid,maxid)
           break

def main():
    print "Time Begin:",time.strftime('%Y-%m-%d %X',time.localtime()) 
    queue=multiprocessing.Queue()
    process = multiprocessing.Process(target=queueuein,args=(1,0,184880596,queue,))
    process.start()
    #~ process.join()
    run(queue)
if __name__ == '__main__':
   main()

[leoxqing]

引用 6 楼 angel_su 的回复:

multiprocessing借用threading的api，可是有些细节不同，头很大。试试改了下下，queue最后放进一个结束记号，方便写代码和判断情况，这样貌似能正常了...Python code?123456789101112131415161718192021222324252627282930313233343536373839import multiproce……

谢谢！太感谢了！

[leoxqing]

引用 1 楼 angel_su 的回复:

文档有提到使用queue会死锁的问题，函数queueuein最后退出的地方，加行代码调用queue.cancel_join_thread()

加了cancel_join_thread()后貌似队列数据就销毁了，其他进程调用不到了！

[leoxqing]

[root@yetest01 app]# cat test_m.py #!/usr/bin/python import multiprocessing import time import sys def run(queue): while True: if queue.qsize()>0: mid=queue.get() print "queid:%s,size:%s" % (mid,queue.qsize()) else: print "queue empty" break def queueuein(minid,maxid,id,queue): while True: if minid<id: if minid+9999>=id: maxid=id elif minid+9999<id: maxid=minid+9999 queue.put(minid) minid=maxid+1 else : print queue.qsize() queue.cancel_join_thread() print "i'm quit:%s,%s" % (minid,maxid) break def main(): print "Time Begin:",time.strftime('%Y-%m-%d %X',time.localtime()) queue=multiprocessing.Queue() process = multiprocessing.Process(target=queueuein,args=(1,0,184880596,queue,)) process.start() process.join() run(queue) if __name__ == '__main__': main() 改成这样了，在读取的时候发现队列执行到13032就又阻塞了，执行结果如下： .... queid:54510001,size:13037 queid:54520001,size:13036 queid:54530001,size:13035 queid:54540001,size:13034 queid:54550001,size:13033 queid:54560001,size:13032 阻塞中... 这是怎么个情况啊？