请问no module named xxx.spiders报错怎么解决
代码如下:
#coding=utf-8
import scrapy
import re
import os
import urllib
from scrapy.selector import Selector
from scrapy.http import HtmlResponse, Request
class Xiaohuar_spider(scrapy.spiders.Spider):
name = "xiaohuar"
allowed_domains = ["xiaohuar.com"] # 搜索的域名范围,也就是爬虫的约束区域,规定爬虫只爬取这个域名下的网页
start_urls = ["http://www.xiaohuar.com/list-1-1.html"]
# 该函数名不能改变,因为Scrapy源码中默认callback函数的函数名就是parse
def parse(self, response):
current_url = response.url # 爬取时请求的url
body = response.body # 返回的html
unicode_body = response.body_as_unicode() # 返回的html unicode
hxs = Selector(response) # 创建查询对象,HtmlXPathSelector已过时
if re.match('http://www.xiaohuar.com/list-1-\d+.html', response.url): # 如果url能够匹配到需要爬取的url,就爬取
items = hxs.xpath('//div[@class="item_list infinite_scroll"]/div') # 匹配到大的div下的所有小div(每个小div中包含一个图片)
for i in range(len(items)): # 遍历div个数
src = hxs.xpath(
'//div[@class="item_list infinite_scroll"]/div[%d]//div[@class="img"]/a/img/@src' % i).extract() # 查询所有img标签的src属性,即获取校花图片地址
name = hxs.xpath(
'//div[@class="item_list infinite_scroll"]/div[%d]//div[@class="img"]/span/text()' % i).extract() # 获取span的文本内容,即校花姓名
school = hxs.xpath(
'//div[@class="item_list infinite_scroll"]/div[%d]//div[@class="img"]/div[@class="btns"]/a/text()' % i).extract() # 校花学校
if src:
absoluteSrc = "http://www.xiaohuar.com" + src[
0] # 拼接实际路径,因为.extract()会返回一个list,但是我们是依次取得div,所以是取第0个
file_name = "%s_%s.jpg" % (school[0], name[0]) # 拼接文件名,学校_姓名
file_path = os.path.join("E:\file", file_name) # 拼接这个图片的路径下
urllib.urlretrieve(absoluteSrc, file_path) # 接收文件路径和需要保存的路径,会自动去文件路径下载并保存到我们指定的本地路径
all_urls = hxs.xpath('//a/@href').extract() # 提取界面所有的url
for url in all_urls: # 遍历获得的url,如果满足条件,继续爬取
if url.startswith('http://www.xiaohuar.com/list-1-'):
yield Request(url, callback=self.parse)

整个工程的文件就是这样
请问各位大神这个问题出在哪里,怎么解决呢?
相关推荐
Scrapy工程化爬虫实战:从零构建稳定文本采集系统
网络文本爬虫是数据获取的基础技术,其核心在于结构化提取、反爬应对与可持续维护。Scrapy作为Python主流爬虫框架,基于Twisted异步引擎实现高并发、低内存的请求调度,并通过Spider、Item、Pipeline、Middleware等模块封装了请求—解析—去重—存储—重试全链路。相比requests+BeautifulSoup的手动拼装和Selenium的高开销,Scrapy以声明式CSS/XPath选择、Item Loader数据预处理、AutoThrottle智能限速等机制,显著提升健壮性与
利用GitHub高效学习Python:从项目实战到开源贡献的完整指南
在编程学习过程中,掌握如何通过真实项目提升工程能力是关键。GitHub作为全球最大的开源代码托管平台,不仅提供了海量的Python项目案例,更是一个学习工程规范、问题解决思路和技术演进轨迹的宝库。其核心价值在于将学习路径从传统的语法练习,转变为基于真实问题驱动的探索与实践。通过克隆项目、分析代码结构、深究核心逻辑以及参与Issue讨论,学习者能系统性地掌握Web开发、数据分析、自动化脚本等热门领域的应用技能。本文以Python环境配置、Git操作为基础,结合虚拟环境管理和依赖安装等工程实践,详细拆解了如何利
2026年Python爬虫自学指南:从零构建系统性思维与实战能力
网络数据抓取是获取和分析互联网信息的基础技术,其核心原理在于模拟客户端与服务器之间的HTTP通信协议,通过发送请求获取响应数据。这项技术的价值在于能够自动化、规模化地采集公开数据,为数据分析、市场研究、内容聚合等应用场景提供原材料。在工程实践中,高效的数据抓取不仅依赖于Requests、BeautifulSoup等基础库,更关键的是建立一套涵盖环境配置、请求模拟、数据解析、动态处理、反反爬策略及数据存储的系统性解决方案。本文聚焦于Python爬虫的实战路径,深入探讨了如何应对动态加载内容、构建健壮的工程化项
A股分钟数据涵盖个股、ETF、可转债及指数,提供日内高频行情 字段包含代码、名称、交易时间、开盘价、最高价、最低价、收盘价、成交量与成交额 数据按分钟粒度记录,可反映盘中价格变动与成交活跃度 ETF分
A股分钟数据涵盖个股、ETF、可转债及指数,提供日内高频行情。字段包含代码、名称、交易时间、开盘价、最高价、最低价、收盘价、成交量与成交额。数据按分钟粒度记录,可反映盘中价格变动与成交活跃度。ETF分钟数据覆盖主流交易型基金,可转债分钟数据包含转股溢价等特性指标,指数分钟数据涵盖宽基与行业指数点位及涨跌幅。所有数据均为复权前原始行情。 数据源:CMES金融数据库
技术转移平台怎么选?2026年权威测评:6家主流服务商横向对比.docx
技术转移平台怎么选?2026年权威测评:6家主流服务商横向对比


