多进程并行Python代码实现

yangjiajia123456 2023-03-30 22:04:22

课时名称	课时知识点
多进程并行Python代码实现	通过Python代码实现多进程并行执行，进程池编程，进程之间如何通信

...全文

166 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

本文简单介绍了Python中使用multiprocessing来实现多进程并行，并和程序顺序执行做了相应的对比，并给出了相应的代码实现。

并行计算的方法有许多，在科学计算中“单指令多数据”式的线程级别的并行计算经常使用，可以显著提升代码执行循环语句的速度。python内置的库可以实现循环语句的并行化，不过这里使用的是map而不是for，其本质相同。

Python中比较常见的并发方式主要有两种：多线程和多进程。多线程即在一个进程中启动多个线程执行任务。一般来说使用多线程可以达到并行的目的，但由于Python中使用了全局解释锁GIL的概念，导致Python中的多线程并不是并行执行，而是“交替执行”。类似于下图。所以Python中的多线程适合IO密集型任务，而不适合计算密集型任务。Python提供两组多线程接口，一是thread模块_thread，提供低等级接口。

这两天在跑一个文件处理程序的时候想着利用多核并行处理实现节省时间，然后例程里用了threading.Thread来实现，结果依旧很慢，查看了一下cpu使用情况根本就是在单核上跑啊。查了一下才发现python中多线程存在PIL锁，什么意思呢，就是说这个锁使得同时只能有一个线程执行。。。。。这样的结果就是即使利用了多线程，多个线程仍旧是在单核上执行的，执行某一个线程的时候，余下的所有线程都吃瓜。 ...

Python 在程序并行化方面多少有些声名狼藉。撇开技术上的问题，例如线程的实现和 GIL，我觉得错误的教学指导才是主要问题。常见的经典 Python 多线程、多进程教程多显得偏"重"。而且往往隔靴搔痒，没有深入探讨日常工作中最有用的内容。哈，看起来有些像 Java 不是吗？我并不是说使用生产者/消费者模型处理多线程/多进程任务是错误的（事实上，这一模型自有其用武之地）。只是，处理日常脚本任务时我们可以使用更有效率的模型。首先，你需要一个样板类；其次，你需要一个队列来传递对象；

杨佳佳的课程社区_NO_1

1

社区成员

402

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章