37,721
社区成员
发帖
与我相关
我的任务
分享scrapy新手请教，parse函数没有被执行
import scrapy
class getdata(scrapy.Spider):
name = "baidu"
start_urls=["www.baidu.com"]
def parse(self, response):
print(1)
打印不出1来啊。
请高手指点。程序执行也不报错。是不是缺少什么插件或者配置有问题呢。百度一圈也没解决这个问题。
class getdata(scrapy.Spider):
name = "baidu"
start_urls=["www.baidu.com"]
def parse(self, response):
print(1)
打印不出1来啊。
请高手指点。程序执行也不报错。是不是缺少什么插件或者配置有问题呢。百度一圈也没解决这个问题。
...全文
请发表友善的回复…
发表回复
weixin_44857342 2021-05-17
- 打赏
- 举报
请问下def parse(self,response),为啥括号内显示报错
箱子ii 2020-03-13
- 打赏
- 举报
ROBOTSTXT_OBEY = False setting设置了，from scrapy import cmdline
cmdline.execute("scrapy crawl XXX".split())也有这样一个启动文件了，但是还是没有解决，没有进入def parse(self, response):输出东西，数据爬不下来，求助
卢政孝simi 2019-05-04
- 打赏
- 举报
ROBOTSTXT_OBEY = False
小绿蛙 2019-01-18
- 打赏
- 举报
请问我根据楼主的方法使用后提示No module named 'GetImage.settings'，这是为什么啊
laijiajia 2018-10-26
- 打赏
- 举报
这个方法可以
moveonzz 2018-10-24
- 打赏
- 举报
您好 我在命令执行的时候也是没有执行print 语句 请问怎么调试啊
新手小白[/quote]
scrapy 的启动方式为在爬虫项目目录下cmd执行 scrapy crawl xxx XXX-为你的爬虫名
直接run是不行的
上面的方法是定义了一个方法来执行CMD中启动语句 比较方便
TongYixuan_LUT 2018-10-18
- 打赏
- 举报
您好 我在命令执行的时候也是没有执行print 语句 请问怎么调试啊
新手小白
mathdogggg 2018-10-09
- 打赏
- 举报
你写的爬虫文件的文件名，不用加后缀
快D碗_里来 2018-09-24
- 打赏
- 举报
from scrapy import cmdline
cmdline.execute("scrapy crawl XXX".split())
请问这个要写在哪里？？ XXX代表什么？？
小白问题比较多
gaozg7 2018-01-31
- 打赏
- 举报
谢谢大兄弟，我改了。还是不好用。。。。
gaozg7 2018-01-31
- 打赏
- 举报
问题解决了，谢谢各位。调试的时候加上
from scrapy import cmdline
cmdline.execute("scrapy crawl XXX".split())
就好使了。命令行执行scrapy crawl XXX这个也可以，不过我新手不太懂。
虾米馅煎包 2018-01-31
- 打赏
- 举报
你没有加协议 是访问不了的 = =
start_urls=["http://www.baidu.com"]
氵彡哥 2018-01-30
- 打赏
- 举报
ROBOTSTXT_OBEY = False setting中设置试试
