【讨论】有没有人用过multiprocessing 做CPU密集型的任务

手无护鸡之力 2019-04-25 06:52:16
用multiprocessinig 好像性能提升非常小,一般只能提升 1 倍的样子。CPU占用倒是满高,CPU全部满载,卡的动不了,太吃资源了,效果倒不怎么好。

multiprocessinig 使用也受限制,必须是可序列化的对象,经常会遇到某个包/库对象无法序列化。

用 gevent 也有限制,好像需要包支持才行,但MySQLdb、pymysql好像都不支持?

根本快不起来,monkey.patch_all() 也加了

用go做并发,好像都能提升10倍以上

python 做高并发好像真的是浪费力气啊,费挺大劲,效果还不怎么样。
...全文
260 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
  • 打赏
  • 举报
回复 1
python适合计算机创意方向的产品, go适合做一些幕后的工作。 不过go适合企业,不适合个人。 python适合个人及一些初创企业、小企业。 高并发aiohttp可以做到。 高速产品开发,首选python,自动化处理首选python, go不适合。

37,719

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • IT.BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧