Scrapy爬取的IP地址服务器名的URL该怎么设置allowed_domain

lixin_nan 2020-09-16 10:34:13

请教老鸟，如果服务器的URL开头是IP，如：https://62.10.23.18/provider/toPlat/ManagerView.do，Spider类里allowed_domain=[' ？']
多谢！！

...全文

215 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

放风喽 2020-09-17

打赏
举报

回复

你需要限制在哪个域里面爬取就设置哪个域我都是不设置的，直接注释掉allowed_domain


allowed_domain = [https://62.10.23.18/]
# 或者限制的更死一点
allowed_domain = [https://62.10.23.18/provider/toPlat/]

使用Scrapy爬取网站图片并下载（使用XPATH路径来获取图片链接）。对爬取成功的图片连接入库。

scrapy爬取京东商品评论并保存至Mysql数据库一、总体概述二、实践过程1.1网页解析1.2使用单线程爬取代码如下：1.3使用scrapy爬取数据1.4绘制词云图结果：三、总结一、总体概述从京东搜索框搜索进入手机进入页面，爬取页面https://item.jd.com/100008348542.html的评论信息。爬取内容是评论信息（用户名、评论内容、评论星级、评论时间等），将信息爬取下来之后，进行数据处理，以方便显示和查看的格式保存下来。二、实践过程 1.1网页解析经观察发现，评论页面变化时，

python结合scrapy爬取淘宝商品信息一、功能说明：已实现功能：通过scrapy接入selenium获取淘宝关键字搜索内容下的商品信息。待扩展功能：爬取商品中的全部其他商品信息。二、代码解读： 1、创建项目首先得创建一个scrapy项目，若不会的请看其他创建scrapy项目的博客文章或者我的这篇scrapy安装介绍scrapy安装与创建项目然后得明白scrapy框架是如何去部署爬虫的，看大图： 2、scrapy工作流程文字解释引擎（Scrapy Engine）从调度

import scrapy from scrapy import Field class JdItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() title = scrapy.Field() # 标题 price = scrapy.F...

scrapy 爬取阳光热线问政平台（使用CrawlSpider）

37,720

社区成员

34,239

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章