使用python爬虫 taobao 过多请求导致超时
f=open(filename,'wb')
user_agent='Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
header={'User-Agent':user_agent}
req=urllib2.Request(i[0],headers=header)
resp=urllib2.urlopen(req)
data=resp.read()
f.write(data)
f.close()
time.sleep(10)Traceback (most recent call last):
File "get_taobao_mm.py", line 36, in <module>
sp.get_info()
File "get_taobao_mm.py", line 29, in get_info
resp=urllib2.urlopen(req)
File "C:\Python26\lib\urllib2.py", line 124, in urlopen
return _opener.open(url, data, timeout)
File "C:\Python26\lib\urllib2.py", line 383, in open
response = self._open(req, data)
File "C:\Python26\lib\urllib2.py", line 401, in _open
'_open', req)
File "C:\Python26\lib\urllib2.py", line 361, in _call_chain
result = func(*args)
File "C:\Python26\lib\urllib2.py", line 1130, in http_open
return self.do_open(httplib.HTTPConnection, req)
File "C:\Python26\lib\urllib2.py", line 1105, in do_open
raise URLError(err)
urllib2.URLError: <urlopen error [Errno 10060] A connection attempt failed because the connected party did not properly respond after a period of time, or esta
C:\Users\qabuilder\rocky\cache\code>
经常返回以上错误,请问有什么办法可以避免? 按道理已经设置了sleep 10 可以避开ddos了呀
是不是urllib也需要close函数才行????
...全文
相关推荐
淘宝商品爬虫, selenium破解滑块验证(目前可用)
淘宝商品爬虫与Selenium破解滑块验证是网络爬虫技术在电商领域的应用,涉及到的主要知识点包括Python编程、网络爬虫原理、Selenium库的使用以及动态验证码的破解策略。
python网络爬虫--爬取淘宝联盟
互联网是由一个个站点和网络设备组成的大网,我们通过浏览器访问站点,站点把HTML、JS、CSS代码返回给浏览器,这些代码经过浏览器解析、渲染,将丰富多彩的网页呈现我们眼前。 网络爬虫,也叫网络蜘蛛(Web Spider),如果把互联网比喻成一个蜘蛛网,Spider就是一只在网上爬来爬去的蜘蛛。网络爬虫就是根据网页的地址来寻找网页的,也就是全球统一资源定位符URL,用来定义互联网上一个唯一的资源 ...
python实现淘宝爬虫
总的来说,通过这个项目,你可以学习到如何构建一个完整的网络爬虫,从发送请求到解析数据,再到数据清洗、分析和可视化,这是一次全面的Python爬虫实践。
使用python对淘宝商品信息数据进行爬取
本项目聚焦于如何使用Python对淘宝商品信息数据进行爬取,这对于理解网络爬虫的工作原理以及掌握相关技术非常有帮助。下面将详细阐述相关知识点。
taobao-scrapy:淘宝客爬虫
**淘宝客爬虫(taobao-scrapy)**淘宝客爬虫是一种自动化工具,主要用于抓取淘宝网站上的商品信息,如价格、销量、评价等,然后将这些数据处理并发布到WordPress这样的内容管理系统中。


