使用python爬虫 taobao 过多请求导致超时

量化分析 量化分析 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区
f=open(filename,'wb')
user_agent='Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
header={'User-Agent':user_agent}
req=urllib2.Request(i[0],headers=header)
resp=urllib2.urlopen(req)
data=resp.read()
f.write(data)
f.close()
time.sleep(10)


Traceback (most recent call last):
File "get_taobao_mm.py", line 36, in <module>
sp.get_info()
File "get_taobao_mm.py", line 29, in get_info
resp=urllib2.urlopen(req)
File "C:\Python26\lib\urllib2.py", line 124, in urlopen
return _opener.open(url, data, timeout)
File "C:\Python26\lib\urllib2.py", line 383, in open
response = self._open(req, data)
File "C:\Python26\lib\urllib2.py", line 401, in _open
'_open', req)
File "C:\Python26\lib\urllib2.py", line 361, in _call_chain
result = func(*args)
File "C:\Python26\lib\urllib2.py", line 1130, in http_open
return self.do_open(httplib.HTTPConnection, req)
File "C:\Python26\lib\urllib2.py", line 1105, in do_open
raise URLError(err)
urllib2.URLError: <urlopen error [Errno 10060] A connection attempt failed because the connected party did not properly respond after a period of time, or esta

C:\Users\qabuilder\rocky\cache\code>

经常返回以上错误,请问有什么办法可以避免? 按道理已经设置了sleep 10 可以避开ddos了呀
是不是urllib也需要close函数才行????
...全文

相关推荐

淘宝商品爬虫, selenium破解滑块验证(目前可用)

淘宝商品爬虫与Selenium破解滑块验证是网络爬虫技术在电商领域的应用,涉及到的主要知识点包括Python编程、网络爬虫原理、Selenium库的使用以及动态验证码的破解策略。

小刘要努力。

python网络爬虫--爬取淘宝联盟

互联网是由一个个站点和网络设备组成的大网,我们通过浏览器访问站点,站点把HTML、JS、CSS代码返回给浏览器,这些代码经过浏览器解析、渲染,将丰富多彩的网页呈现我们眼前。 网络爬虫,也叫网络蜘蛛(Web Spider),如果把互联网比喻成一个蜘蛛网,Spider就是一只在网上爬来爬去的蜘蛛。网络爬虫就是根据网页的地址来寻找网页的,也就是全球统一资源定位符URL,用来定义互联网上一个唯一的资源 ...

阎_松

python实现淘宝爬虫

总的来说,通过这个项目,你可以学习到如何构建一个完整的网络爬虫,从发送请求到解析数据,再到数据清洗、分析和可视化,这是一次全面的Python爬虫实践。

qq_34322002

使用python对淘宝商品信息数据进行爬取

本项目聚焦于如何使用Python对淘宝商品信息数据进行爬取,这对于理解网络爬虫的工作原理以及掌握相关技术非常有帮助。下面将详细阐述相关知识点。

MarkJhon

taobao-scrapy:淘宝客爬虫

**淘宝客爬虫(taobao-scrapy)**淘宝客爬虫是一种自动化工具,主要用于抓取淘宝网站上的商品信息,如价格、销量、评价等,然后将这些数据处理并发布到WordPress这样的内容管理系统中。

王萌昊
评论 1
收藏 已收藏
分享
返回顶部
量化分析
脚本语言 37,738 成员 34,208 内容