Python计算速度太慢，如何解决我这个简单的计算问题？求指导。。。

[xhp168168]

想实现以下算法：前三列一共有30个数，记下每个数值出现的次数，每个数值出现的次数与前面的次数做累加，算出百分比，即最后一列。

我用python的for循环已经实现，但数据量大了(几十万个数)之后，速度很慢，不知道用numpy或者pandas能否提高计算速度，具体如何实现？ 求指导。。。

[Gods_Dusk]

你这种运算比较难于转化为矩阵运算，而numpy对元素操作的话比list还慢 你可以试试cython和pypy

[混沌鳄鱼]

按理说几十万的数据量很小啊，而且你这个是个很简单的运算，怎么会有很长慢的问题出现呢。 因为不太清楚你这个问题的具体需求和限定条件。 你要不怕献丑最好把代码贴上来，大家帮你看看哪里有问题。 python解决性能问题的办法非常多，这种密集运算的用Pypy来运行直接就能快4-5倍。 或者关键地方用C改写，都可以。

[ckc]

为什么是除以（30+1）？ 几十万个数据最后一个是累加了几十万个数据之后再得出结果的吗？ 如果每一次利用了上一次的结果其实每一行都只需要做一次加法再做一次除法， 应该很快的

[extend]

慢到什么程度？

[extend]

另外确定了哪个环节慢？是算重复次数慢还是怎样？

[extend]

用pandas也解决不了统计重复次数慢的问题啊。

[xhp168168]

楼主回复： 除以30和除以(30+1)差别不大，只是算法规定而已。每次运算我都会记下本次累加的结果，下次就只做一次加法，代码就是这样实现的。 真实数据有几十万行，每行有上百列，所以总体的数据量就大了，运行时间需要半个小时以上，我期望在十分钟以内算完。上面的数据是实际计算的一个抽象，方便大家理解，实际运行比上面的复杂很多。关键地方用C写也想到了，但不想为这点东西重新搭C的开发环境，而且好多年不用C，都忘了，呵呵。。。 提出这个问题，是想看看大家遇到类似的问题有没有好的解决办法，供论坛里的小伙伴一起学习和提高。。。

[extend]

你的问题还是有点笼统，运行半小时，知道大部分时间都用哪了吗？ 一个思路，multiprocessing吧，数据切片，多进程处理，提升应该较明显。

[extend]

引用 8 楼 extend 的回复:

你的问题还是有点笼统，运行半小时，知道大部分时间都用哪了吗？ 一个思路，multiprocessing吧，数据切片，多进程处理，提升应该较明显。

补充下，你这个明显是计算密集型，多进程应该能解决。

[AlbertS]

到底有多慢，想看看计算有多复杂

[龙鹰心腹]

很明显是在出现的数值和出现次数那里花太多时间了，你每个数值都要重新搜索一次全部数据，怎么不花时间？用字典来统计，只要出现的数值就+1，遍历一次数据就完成统计了

[lyxlyx1993]

用numba加字典，1亿数据10s内可以跑完

from numba import jit, types
from numba.typed import Dict
import time
import numpy as np

def attain_percentile(myarray):
@jit(nopython=True)
def count_value(myarray):
value_count = Dict.empty(key_type=types.int32, value_type=types.int32, )
for x in myarray:
if x in value_count:
value_count[x] += 1
else:
value_count[x] = 1
return value_count
value_count = count_value(myarray)
key_type = np.sort(np.array([key for key in value_count]))
percentile = np.cumsum(np.array([value_count[key] for key in key_type]))
percentile = percentile / (len(myarray) + 1)
return percentile

myarray = np.random.randint(0, 10**4, 10**8)

t1 = time.time()
percentile = attain_percentile(myarray)
t2 = time.time()
print(t2 - t1)