多进程并行Python代码实现

yangjiajia123456 2023-03-30 22:04:22

课时名称	课时知识点
多进程并行Python代码实现	通过Python代码实现多进程并行执行，进程池编程，进程之间如何通信

...全文

224 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

这两天在跑一个文件处理程序的时候想着利用多核并行处理实现节省时间，然后例程里用了threading.Thread来实现，结果依旧很慢，查看了一下cpu使用情况根本就是在单核上跑啊。查了一下才发现python中多线程存在PIL锁，什么意思呢，就是说这个锁使得同时只能有一个线程执行。。。。。这样的结果就是即使利用了多线程，多个线程仍旧是在单核上执行的，执行某一个线程的时候，余下的所有线程都吃瓜。 ...

本文简单介绍了Python中使用multiprocessing来实现多进程并行，并和程序顺序执行做了相应的对比，并给出了相应的代码实现。

并行计算的方法有许多，在科学计算中“单指令多数据”式的线程级别的并行计算经常使用，可以显著提升代码执行循环语句的速度。python内置的库可以实现循环语句的并行化，不过这里使用的是map而不是for，其本质相同。

Python多进程编程可以通过multiprocess模块实现，它能够绕过CPython的GIL限制，适合CPU密集型任务。核心组件包括： Process类：用于创建和管理子进程，通过target指定执行函数，args传递参数。子进程独立运行，需要进程间通信(IPC)共享数据。 Pool进程池：管理一组进程，避免频繁创建销毁的开销。主要方法： map()：并行执行单参数函数 starmap()：支持多参数 apply()/apply_async()：同步/异步执行任务 map_async()：异步版map

Python中比较常见的并发方式主要有两种：多线程和多进程。多线程即在一个进程中启动多个线程执行任务。一般来说使用多线程可以达到并行的目的，但由于Python中使用了全局解释锁GIL的概念，导致Python中的多线程并不是并行执行，而是“交替执行”。类似于下图。所以Python中的多线程适合IO密集型任务，而不适合计算密集型任务。Python提供两组多线程接口，一是thread模块_thread，提供低等级接口。

杨佳佳的课程社区_NO_1

1

社区成员

402

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章