scrapy新手请教，parse函数没有被执行

[gaozg7]

import scrapy

class getdata(scrapy.Spider):
name = "baidu"
start_urls=["www.baidu.com"]

def parse(self, response):
print(1)


打印不出1来啊。

请高手指点。程序执行也不报错。是不是缺少什么插件或者配置有问题呢。百度一圈也没解决这个问题。

[氵彡哥]

ROBOTSTXT_OBEY = False setting中设置试试

[虾米馅煎包]

你没有加协议 是访问不了的 = = start_urls=["http://www.baidu.com"]

[gaozg7]

问题解决了，谢谢各位。调试的时候加上 from scrapy import cmdline cmdline.execute("scrapy crawl XXX".split()) 就好使了。命令行执行scrapy crawl XXX这个也可以，不过我新手不太懂。

[gaozg7]

引用 1 楼 sinat_37982934 的回复:

ROBOTSTXT_OBEY = False setting中设置试试

谢谢大兄弟，我改了。还是不好用。。。。

[快D碗_里来]

from scrapy import cmdline cmdline.execute("scrapy crawl XXX".split()) 请问这个要写在哪里？？ XXX代表什么？？ 小白问题比较多

[mathdogggg]

引用 7 楼 qq_36377875 的回复:

from scrapy import cmdline cmdline.execute("scrapy crawl XXX".split()) 请问这个要写在哪里？？ XXX代表什么？？ 小白问题比较多

你写的爬虫文件的文件名，不用加后缀

[TongYixuan_LUT]

引用 4 楼 gaozg7 的回复:

问题解决了，谢谢各位。调试的时候加上
from scrapy import cmdline
cmdline.execute("scrapy crawl XXX".split())

就好使了。命令行执行scrapy crawl XXX这个也可以，不过我新手不太懂。

您好 我在命令执行的时候也是没有执行print 语句 请问怎么调试啊
新手小白

[moveonzz]

引用 9 楼 qq_33357094 的回复:

[quote=引用 4 楼 gaozg7 的回复:] 问题解决了，谢谢各位。调试的时候加上 from scrapy import cmdline cmdline.execute("scrapy crawl XXX".split()) 就好使了。命令行执行scrapy crawl XXX这个也可以，不过我新手不太懂。

您好 我在命令执行的时候也是没有执行print 语句 请问怎么调试啊 新手小白[/quote] scrapy 的启动方式为在爬虫项目目录下cmd执行 scrapy crawl xxx XXX-为你的爬虫名 直接run是不行的 上面的方法是定义了一个方法来执行CMD中启动语句 比较方便

[laijiajia]

引用 1 楼 sinat_37982934 的回复:

ROBOTSTXT_OBEY = False setting中设置试试

这个方法可以

[小绿蛙]

请问我根据楼主的方法使用后提示No module named 'GetImage.settings'，这是为什么啊

[卢政孝simi]

ROBOTSTXT_OBEY = False

[箱子ii]

ROBOTSTXT_OBEY = False setting设置了，from scrapy import cmdline cmdline.execute("scrapy crawl XXX".split())也有这样一个启动文件了，但是还是没有解决，没有进入def parse(self, response):输出东西，数据爬不下来，求助

[weixin_44857342]

请问下def parse(self,response),为啥括号内显示报错