python 多线程处理效率？

[tuher]

现在工作需要，需要对目录下的xml文件进行处理， 根据指定条件进行合并，因为目录下的文件数量很多（100w），现在考虑用多线程实现，
os.listdir()的结果放入list，然后根据配置的线程数目平分list并发处理 。
线程使用的是：
threads = []
t1 = threading.Thread(target=xxx,args=(xxx,))
threads.append(t1)
t2 = threading.Thread(target=xxx,args=(xxx,))
threads.append(t2)
现在问题是我启动十个线程 和启动一个相比 ，效率并没有多大提升，
每个线程处理平分出来的list中的文件，挨个解析xml文件，符合条件后就对文件进行合并，生成新的xml文件到新目录，备份原文件到备份目录。
因为刚开始使用python多线程， 不是很了解， 不知道为什么效率没有提升？
希望大家可以帮助解答下 ，谢谢~

[imagine186]

python的多线程本来就比较差，相关信息你可以搜索一下GIL python的多线程一般用于IO密集型的程序，而不是CPU密集型的程序

[pcboyxhy]

如果瓶颈在CPU，python有GIL无法在CPU多核这个维度利用多线程。 如果瓶颈在磁盘，多线程访问同一个磁盘并不会有性能提升。

[ppchaos]

多进程处理，python进程就不会这样了

[ppchaos]

4 down vote You can use process pools in multiprocessing module. def work(foo): foo.do_task() from multiprocessing import Pool pool = Pool() pool.map(work, my_foo_obj_list) pool.close() pool.join()

[ppchaos]

You can use process pools in multiprocessing module. def work(foo): foo.do_task() from multiprocessing import Pool pool = Pool() pool.map(work, my_foo_obj_list) pool.close() pool.join()