求助 python爬虫 requests的get出现10054错误 远程主机强迫关闭了一个现有的连接

[qq_38741240]

使用爬虫出现了这个错误，但是用浏览器不停快速刷新却没问题（禁止了缓存），已经设置了header头，代码如下



urlInfo = urllib.request.urlparse(url);
headers = {
'Host': urlInfo.hostname,
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36',
'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language':'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
'Accept-Encoding':'gzip, deflate',
'Connection':'keep-alive',
'Upgrade-Insecure-Requests':'1',
'Pragma':'no-cache',
'Cache-Control':'no-cache',

}

[oyljerry]

应该网站还有其他反扒措施。

[cnaaa8]

使用 selenium 吧