多个进程大数据量计算越算越慢

[一注擒庄]

在做一个大数据（50G）计算任务，文件有5000多个，每个文件是单独的，计算的时候互不相关，因此考虑多个进程同时计算。在4核电脑上开了3个进程，刚开始3分钟内，计算速度很快，到后面就慢了下来。
会是什么原因，每次调试的时候，都是刚开始的3分钟内计算很快，会不会存在进程计算一段时间后适当休息的问题？或者每个进程只计算3分钟的文件量，后面的重新创建新的进程来继续算？

[zxbqqx]

try看看还能不能回复

[zxbqqx]

多进程处理？每个进程处理多少文件？单个进程中是否又包含了多线程？ 这种情况，多线程处理也可以吧

[CallMeJacky]

如果单独创建对象，可能导致gc不停回收对象的问题，就有可能越来越慢，可以考虑一下这个问题

[CallMeJacky]

不是单独，多次，打错了，不好意思