python适合做并行计算吗?

superwulai 2014-05-12 10:06:25

我们单位的系统之前用python做的，现在数据库的数据量太大了，出报表太慢，老板想用并行计算，请教诸位大虾，python适合做并行计算吗？

...全文

1158 9 打赏收藏转发到动态举报

写回复

用AI写文章

9 条回复

切换为时间正序

请发表友善的回复…

发表回复

The_Third_Wave 2014-06-25

打赏
举报

引用 7 楼 xmnathan 的回复:

python的多线程是虚的，没用

GUI

CDSoftwareWj 2014-06-25

打赏
举报

python的并行是“虚的”，但是如果方法设计的得当，最好会有好效果的

惟愿莲心不染尘 2014-06-24

打赏
举报

python的多线程是虚的，没用

zinicl 2014-06-24

打赏
举报

使用multiprocess模块，可以解决无法利用多核并行计算的问题！我以前一个项目曾经把IBM3850的8CPU32个核全部压满！当然是屏蔽了数据库IO的情况下！其实我感觉用python做应用服务器完全没有问题，系统的性能瓶颈主要还是在数据库IO上面。

刨坑数据 2014-06-19

打赏
举报

python提供了多线程，但并未真正并行执行，因此也无法利用多CPU核来提高计算性能。而且其语法也基本上是延用了C语言的机制，优点是灵活，可以写出几乎任何东西，缺点是支持过于底层，编写代码和调试都很困难。如果数据量再大，还需要多机集群机制，python不直接支持了，需要采用第三方的并行框架（比如Hadoop），掌握起来也不是很容易，相当于要学习另一样东西；如果是使用Hadoop（这是目前最成熟最流行的并行体系了），还存在集成性不够好的问题，因为Hadoop主要是Java体系的，而python是C++编写的，python被Hadoop调用时需要做数据转换而损失性能，把并行集群带来的好处又拉回来了。如果是数据库方面的计算，可以看看润乾公司的集算器.。它把多线程计算做了封装，编写和调试都简单得多，当然缺点是写不出系统级的应用，不过数据库应用也不需要这些功能。另外，集算器还提供了多机集群能力，可以随数据量加大自由扩展。另外，润乾本来就是做报表出身的，集算器就是为了给报表提供更复杂和高性能的数据源，与报表工具的结合非常简单，应当会适合你这种场景。