请问no module named xxx.spiders报错怎么解决

mrwwww mrwwww 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区
我初学scrapy爬虫,在github上下载了一个工程用pycharm运行了一下是没有问题的,然后在cmd中通过scrapy crawl xiaohuar 的命令运行爬虫的时候出现了 no module named xiaohuar.spiders 的报错

代码如下:

#coding=utf-8
import scrapy
import re
import os
import urllib
from scrapy.selector import Selector
from scrapy.http import HtmlResponse, Request


class Xiaohuar_spider(scrapy.spiders.Spider):
name = "xiaohuar"

allowed_domains = ["xiaohuar.com"] # 搜索的域名范围,也就是爬虫的约束区域,规定爬虫只爬取这个域名下的网页

start_urls = ["http://www.xiaohuar.com/list-1-1.html"]

# 该函数名不能改变,因为Scrapy源码中默认callback函数的函数名就是parse
def parse(self, response):
current_url = response.url # 爬取时请求的url
body = response.body # 返回的html
unicode_body = response.body_as_unicode() # 返回的html unicode

hxs = Selector(response) # 创建查询对象,HtmlXPathSelector已过时

if re.match('http://www.xiaohuar.com/list-1-\d+.html', response.url): # 如果url能够匹配到需要爬取的url,就爬取
items = hxs.xpath('//div[@class="item_list infinite_scroll"]/div') # 匹配到大的div下的所有小div(每个小div中包含一个图片)

for i in range(len(items)): # 遍历div个数
src = hxs.xpath(
'//div[@class="item_list infinite_scroll"]/div[%d]//div[@class="img"]/a/img/@src' % i).extract() # 查询所有img标签的src属性,即获取校花图片地址
name = hxs.xpath(
'//div[@class="item_list infinite_scroll"]/div[%d]//div[@class="img"]/span/text()' % i).extract() # 获取span的文本内容,即校花姓名
school = hxs.xpath(
'//div[@class="item_list infinite_scroll"]/div[%d]//div[@class="img"]/div[@class="btns"]/a/text()' % i).extract() # 校花学校

if src:
absoluteSrc = "http://www.xiaohuar.com" + src[
0] # 拼接实际路径,因为.extract()会返回一个list,但是我们是依次取得div,所以是取第0个
file_name = "%s_%s.jpg" % (school[0], name[0]) # 拼接文件名,学校_姓名
file_path = os.path.join("E:\file", file_name) # 拼接这个图片的路径下
urllib.urlretrieve(absoluteSrc, file_path) # 接收文件路径和需要保存的路径,会自动去文件路径下载并保存到我们指定的本地路径

all_urls = hxs.xpath('//a/@href').extract() # 提取界面所有的url
for url in all_urls: # 遍历获得的url,如果满足条件,继续爬取
if url.startswith('http://www.xiaohuar.com/list-1-'):
yield Request(url, callback=self.parse)


整个工程的文件就是这样
请问各位大神这个问题出在哪里,怎么解决呢?
...全文

相关推荐

Scrapy工程化爬虫实战:从零构建稳定文本采集系统

网络文本爬虫是数据获取的基础技术,其核心在于结构化提取、反爬应对与可持续维护。Scrapy作为Python主流爬虫框架,基于Twisted异步引擎实现高并发、低内存的请求调度,并通过Spider、Item、Pipeline、Middleware等模块封装了请求—解析—去重—存储—重试全链路。相比requests+BeautifulSoup的手动拼装和Selenium的高开销,Scrapy以声明式CSS/XPath选择、Item Loader数据预处理、AutoThrottle智能限速等机制,显著提升健壮性与

weixin_30460489

利用GitHub高效学习Python:从项目实战到开源贡献的完整指南

在编程学习过程中,掌握如何通过真实项目提升工程能力是关键。GitHub作为全球最大的开源代码托管平台,不仅提供了海量的Python项目案例,更是一个学习工程规范、问题解决思路和技术演进轨迹的宝库。其核心价值在于将学习路径从传统的语法练习,转变为基于真实问题驱动的探索与实践。通过克隆项目、分析代码结构、深究核心逻辑以及参与Issue讨论,学习者能系统性地掌握Web开发、数据分析、自动化脚本等热门领域的应用技能。本文以Python环境配置、Git操作为基础,结合虚拟环境管理和依赖安装等工程实践,详细拆解了如何利

黄小二哥

2026年Python爬虫自学指南:从零构建系统性思维与实战能力

网络数据抓取是获取和分析互联网信息的基础技术,其核心原理在于模拟客户端与服务器之间的HTTP通信协议,通过发送请求获取响应数据。这项技术的价值在于能够自动化、规模化地采集公开数据,为数据分析、市场研究、内容聚合等应用场景提供原材料。在工程实践中,高效的数据抓取不仅依赖于Requests、BeautifulSoup等基础库,更关键的是建立一套涵盖环境配置、请求模拟、数据解析、动态处理、反反爬策略及数据存储的系统性解决方案。本文聚焦于Python爬虫的实战路径,深入探讨了如何应对动态加载内容、构建健壮的工程化项

weixin_34218890

A股分钟数据涵盖个股、ETF、可转债及指数,提供日内高频行情 字段包含代码、名称、交易时间、开盘价、最高价、最低价、收盘价、成交量与成交额 数据按分钟粒度记录,可反映盘中价格变动与成交活跃度 ETF分

A股分钟数据涵盖个股、ETF、可转债及指数,提供日内高频行情。字段包含代码、名称、交易时间、开盘价、最高价、最低价、收盘价、成交量与成交额。数据按分钟粒度记录,可反映盘中价格变动与成交活跃度。ETF分钟数据覆盖主流交易型基金,可转债分钟数据包含转股溢价等特性指标,指数分钟数据涵盖宽基与行业指数点位及涨跌幅。所有数据均为复权前原始行情。 数据源:CMES金融数据库

2401_89140926

技术转移平台怎么选?2026年权威测评:6家主流服务商横向对比.docx

技术转移平台怎么选?2026年权威测评:6家主流服务商横向对比

BIZKEEN
评论 1
收藏 已收藏
分享
返回顶部
mrwwww
脚本语言 37,738 成员 34,208 内容