Python OverflowError: strings are too large to concat

Joan_L 2014-06-23 05:06:53
python 执行报了这个错,大家帮忙看下是什么问题,谢谢了~~~
Traceback (most recent call last):
File "collect-cdn-logs-manual.py", line 220, in ?
main()
File "collect-cdn-logs-manual.py", line 209, in main
collectDilianLogs(day)
File "collect-cdn-logs-manual.py", line 80, in collectDilianLogs
mergrGzipFiles(fileList, outputGzipFilePath, True)
File "collect-cdn-logs-manual.py", line 51, in mergrGzipFiles
outGzipFile.write(gzipFile.read())
File "/usr/lib64/python2.4/gzip.py", line 218, in read
self._read(readsize)
File "/usr/lib64/python2.4/gzip.py", line 278, in _read
self._add_read_data( uncompress )
File "/usr/lib64/python2.4/gzip.py", line 295, in _add_read_data
self.extrabuf = self.extrabuf + data
OverflowError: strings are too large to concat
...全文
87 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
Joan_L 2014-06-23
  • 打赏
  • 举报
回复
我是在2.4.3版本的python 下做几个gz文件的合并,循环读源文件写到压缩后的目标文件;一般一次读文件多大?
The_Third_Wave 2014-06-23
  • 打赏
  • 举报
回复
字符串太长了。。。这都提示了的!不要一次性处理那么大的数据,切分处理。看你需要读取数据,那就指定size读取,或者按行读取处理,处理好了及时存。

37,720

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • IT.BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧