scrapy爬取图片出现错误ValueError: Missing scheme in request url: //static.699pic.com/

敲出亿行bug 2020-03-14 02:06:41
spider的代码


from scrapy import Request
from scrapy.spiders import Spider
from shetu_spider.items import ShetuSpiderItem

class image_download(Spider):
name = 'image'

def start_requests(self):
url = 'http://699pic.com/photo/'
yield Request(url)

def parse(self, response):#解析函数-图片列表页
urls = response.xpath("//div[@class='pl-list']/a[1]/@href").extract()
for i in range(len(urls)):
yield Request(('http:'+urls[i]),callback=self.parse_image)

def parse_image(self,response):
item = ShetuSpiderItem()

#获取所有图片url地址
url = response.xpath("//li[@class='list']/a/img/@src").extract()
if url:
title = response.xpath("//li[@class='list']/a/img/@title").extract()
item['title'] = title
item['image_urls']=url
yield item
#获取下一页地址
next_url = response.xpath("//a[@class='downPage']/@href").extract()

if next_url:
next_url = response.urljoin(next_url[0])
yield Request(next_url,callback=self.parse_image)


网上的方法也采取了,但是还是这个错误,请各位大神,给点指示性的意见
...全文
533 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
敲出亿行bug 2020-03-14
  • 打赏
  • 举报
回复
问题解决了,大家有同样的问题,请参考我的博客
https://blog.csdn.net/wenquan19960602/article/details/104860522

37,722

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • IT.BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧