scrapy框架中的 referer怎么配置-CSDN论坛

CSDN论坛 > 其他开发语言 > 脚本语言(Perl/Python)

scrapy框架中的 referer怎么配置 [问题点数：20分，结帖人tjzero_sapce]

一键查看最优答案

确认一键查看最优答案？

本功能为VIP专享，开通VIP获取答案速率将提升10倍哦！

取消

开通vip会员

⋅请问，有没有window server2008上可以安装使用的chrome浏览器吗？ ⋅centos7上怎么配置java程序的selenium、chrome和chromedriver ⋅centOS 6.5 如何安装chrome 浏览器呢？ 更多帖子 关注私信空间博客 tjzero_sapce 本版专家分：0 结帖率 99.52%: 看着视频教程学习scrapy的爬虫框架，抓取一个页面报错 referer none，应该是referer没有配置的原因，可是scrapy的referer去哪儿配置？是一定要引入 selenium 吗？

0 2019-09-05 17:01:40

回复数 3 只看楼主引用举报楼主

tjzero_sapce 本版专家分：0: 看来csdn的python板块没人气呀，哪个论坛的python人气最旺？

0 2019-09-06 09:24:48

只看TA 引用举报 #1 得分 0

⋅scrapy拆分 ⋅(爬虫)如今的极验滑动验证码怎么处理？原来的原图与现图对比寻找豁口的方法已经失效了 更多帖子 关注私信空间博客 moveonzz 本版专家分：10: 用scrapy时使用回调函数的时候，可以加header参数啊，referer在header里添上去就OK了啊，referer可以自己用浏览器查看请求获得

0 2019-09-06 17:52:35

只看TA 引用举报 #2 得分 10

⋅考古学家lx的留言板

⋅pika 连接 rabbitmq

⋅需要帮助， Scrapy异常错误

更多帖子

关注私信空间博客

考古学家lx

本版专家分：655

版主

技术圈认证 博客专家完成年度认证，即可获得

签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！

GitHub 绑定GitHub第三方账户获取

领英绑定领英第三方账户获取

第一种是在 start_requests中，添加headers。



headers = {

      referer: referer

}

 

    def start_requests(self):

        return [Request(url=self.start_urls[0], callback=self.parse, headers=self.headers)]

第二种是 settings中直接设置

0 2019-09-06 18:53:29

只看TA 引用举报 #3 得分 10

收藏帖子