python zipfile read大文件非常慢，如何解决

[hongger]

用zipfile的read方法，读取大文件时，耗时非常长，如何解决，代码如下：
zin = zipfile.ZipFile(destEarHome + '/' + destEarName, 'r')
makeDir(destEarHome,'temp')
tempPath=destEarHome+"/temp"
zout = zipfile.ZipFile(tempPath + '/' + destEarName, 'w')
for item in zin.infolist():
print item.filename
print 'reading file to buffer...'
print len(zin.read(item.filename))
buffer = zin.read(item.filename) #遇到大文件时将近耗时20分钟
if (item.filename != 'META-INF/weblogic-application.xml'):
print 'writing file to buffer...'
zout.writestr(item, buffer)
else:
fin = open(tempPath + '/' + 'weblogic-application-old.xml', 'wt')
print 'writing file to buffer...'
fin.write(buffer)
fin.close()

[iambic]

多大的文件？
不行换一个库试试吧。

[angel_su]

大文件一次读入内存，自然是个问题，考虑分段read，其实没啥特别活的话别read，改用模块提供的其它方法操作吧...

[angel_su]

貌似zip.exe大部分平台都有，最通用啦...

[QtGtk]

linux有 exe ?!

[hongger]

zipfile提供的read方法好像没有分段,其实主要是想实现“修改zip里面的一个文件”，所以现在的做法是
1、创建一个新的空zip文件，
2、将原zip文件中的内容都写到新的zip中，
3、待修改的文件在修改后再写入新zip中。
现在在第二步的时候，遇到一个较大的文件，读写操作耗时20多分钟，太慢了，不知道有什么其他的替代解决方案。
期待....

[angel_su]

zipfile模块好像还没实现删除/更新，提供的read/write都是解压再压这样没未免效率，有兴趣嘛研究一下zip格式用2进制方式直接复制重组应该比较好。现成简便的方法，就是system(...)调度控制台版本的zip.exe，一行代码就搞定...

[wutongwutong]

system + zip.exe/winrar.exe 确实会有相当程度的优化，而且winrar提供的命令参数可以组合出的功能要比zipfile自提供的接口多很多
至于针对你的任务是否会有实质性优化，要你自己试试才知道

[hongger]

如果调用系统的zip命令就有系统的依赖性，比如我提供的API就不能灵活的在平台之间移植。
难道就没有好的方法吗？

[lizhiyu_kingsoft]

这，linux没有exe，但是linux能用zip，那就意味着能命令行，懂么？

[zengna_com]

用命令，没有尝试过。另外python能读写7z的压缩包吗？

[nieoding]

用C++写扩展模块吧，
python在处理运算上性能还是很差的，例如加解密、解压