用一个循环程序爬虫时(循环打开不同的网址),内存飙升,如何解决

武易文 2018-01-14 05:49:08
用了一个for语句,循环打开不同的但是格式都一样的网址,差不过每次运行300个后内存就太高了,有解决的方法吗
...全文
591 4 打赏 收藏 转发到动态 举报
写回复
用AI写文章
4 条回复
切换为时间正序
请发表友善的回复…
发表回复
武易文 2018-01-15
  • 打赏
  • 举报
回复
引用 1 楼 weixin_37895393 的回复:
你储存为什么格式的?
引用 2 楼 ckc 的回复:
用什么方法打开的? 打开的东西用完了要关闭
引用 3 楼 TheLittlePython 的回复:
尽可能实现打开一个地址后处理完就关闭,比如使用yield关键字
找到问题了,不在网页的问题,而是,我用了一个list.append()它不停的变大了,不过,我感觉也不至于太大呀,毕竟我爬下来的都是中文
TheLittlePython 2018-01-15
  • 打赏
  • 举报
回复
尽可能实现打开一个地址后处理完就关闭,比如使用yield关键字
ckc 2018-01-14
  • 打赏
  • 举报
回复
用什么方法打开的? 打开的东西用完了要关闭
weixin_37895393 2018-01-14
  • 打赏
  • 举报
回复
你储存为什么格式的?

37,721

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • IT.BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧