有人有scrapy-splash或者scrapyjs的使用经验么?

noodlelin 2017-03-25 05:32:55
按照https://pypi.python.org/pypi/scrapyjs
的方法配置完成了。docker那边也运行正常,但是原本可以爬的网站增加了
下面的代码后,就不停出现链接错误了。

def start_requests(self):
for url in self.start_urls:
yield scrapy.Request(url, self.parse, meta={
'splash': {
'endpoint': 'render.html',
'args': {'wait': 0.5}
}
})

错误例子如下:
[[Error downloading <POST http://192.168.99.100:8050/render.html>
...
twisted.web_newclient.ResponseNeverReceived: [<twisted.python.failure.Failure twisted.internet.error.ConnectionLost: Connection to the other side was lost in a non-clean fashion.>]
...全文
153 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

37,719

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • IT.BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧