multiprocessing中pool.map的问题

博客专家认证

2013-05-29 11:10:48

开了四个进程，通过pool.map来循环给这四个进程任务。
我认为，只要未完成的任务超过四个时，四个进程都不会结束的。
但是实际上程序运行的时候，有两个进程逐渐结束了，剩下的任务只有其他两个进程来完成。这是什么情况呢？

...全文

555 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

moxiaomomo 2014-01-15

打赏
举报

回复

最终改用pool.async来代替了~~

moxiaomomo 2013-05-29

打赏
举报

回复

引用 1 楼 snmr_com 的回复:

pool.map只需要一个队列就够了，不需要拆开啊

我表达不清楚，pool.map是在主进程里面运行的。另外，传入一个数据队列给四个进程来运算...

ImN1 2013-05-29

打赏
举报

回复

pool.map只需要一个队列就够了，不需要拆开啊

我使用多进程的一般方式，都是multiprocessing模块中的Pool.map()方法。下面写一个简单的示例和解析。至于此种方法使用多进程的效率问题，还希望大佬予以指正。示例： """ 探索pool.map多进程执行方式的实质 """ ...

r=pool.map(f, range(100)) pool.close() pool.join() 在spyder里运行直接没反应；在shell窗口里，直接报错，如下： Process SpawnPoolWorker-15: Traceback (most recent call last): File C:\Anaconda3\lib\...

from multiprocessing import Pool def f(x): return x*x if __name__ == '__main__': pool = Pool(processes=1) # Start a worker processes. result = pool.apply_async(f, [10], callbac

在初步了解Python多进程之后，我们可以继续探索multiprocessing包中更加高级的工具。这些工具可以让我们更加便利地实现多进程。进程池进程池 (Process Pool)可以...rel = pool.map(f,[1,2,3,4,5,6,7,8,9,10]) prin

特别是，地图在python iterpreter中包装了multiprocessing.Pool（）。map和apply（）来实现并发。依存关系需要安装dill才能运行map 。 pip install dillasync.map（） async . map ( func , iterable , callback = ...

37,719

社区成员

34,238

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章