scrapy框架中的 referer怎么配置

[tjzero_sapce]

看着视频教程学习scrapy的爬虫框架，抓取一个页面报错 referer none，应该是referer没有配置的原因，可是scrapy的referer去哪儿配置？是一定要引入 selenium 吗？

[moveonzz]

用scrapy时使用回调函数的时候，可以加header参数啊，referer在header里添上去就OK了啊，referer可以自己用浏览器查看请求获得

[考古学家lx(李玺)]

第一种是在 start_requests中，添加headers。

headers = {
      referer: referer
}
 
    def start_requests(self):
        return [Request(url=self.start_urls[0], callback=self.parse, headers=self.headers)]

第二种是 settings中 直接设置

[tjzero_sapce]

看来csdn的python板块没人气呀，哪个论坛的python人气最旺？