Python爬虫零基础入门：从环境搭建到实战抓取豆瓣电影数据

Python爬虫RequestsBeautifulSoup

于 2026-08-03 04:09:05 修改

·本内容遵循CC 4.0 BY-SA版权协议

这次我们来看一个面向零基础小白的 Python 爬虫教程。如果你一直想学爬虫，但被各种复杂的概念和代码吓退，这篇文章就是为你准备的。我们不谈高深的理论，直接从“能不能用”和“怎么用”入手，目标是让你在最短时间内，用最少的代码，跑通第一个爬虫程序，并理解其核心工作流程。

爬虫的核心价值在于自动化获取网络信息，无论是用于数据分析、市场调研还是个人兴趣，它都是一项极具实用性的技能。本教程将围绕一个完整的、可运行的爬虫案例展开，从环境搭建、代码编写到数据保存，全程提供可复现的步骤。你将学到如何选择合适的工具、如何分析网页结构、如何编写请求代码、如何处理常见反爬机制，以及如何将数据规整地保存下来。

本文适合所有编程新手，尤其是对 Python 和网络数据抓取感兴趣的读者。我们将重点关注以下几个实操环节：Python 环境的快速搭建、必备库的安装、一个经典网页（如豆瓣电影 Top 250）的爬取实战、数据解析与存储，以及遇到“连接被关闭”等常见错误时的排查思路。读完本文，你将能独立完成一个基础但完整的爬虫项目。

1. 核心能力速览

在深入代码之前，我们先快速了解通过本教程你将掌握的核心能力，以及所需的技术栈和资源门槛。

能力项	说明
技术栈	Python 3.x + Requests + BeautifulSoup4 / lxml
学习目标	零基础入门，掌握静态网页数据抓取全流程
硬件门槛	普通电脑即可，无需独立显卡
环境依赖	Python 解释器、代码编辑器（如 VSCode/PyCharm）、网络连接
核心库	`requests` (发送网络请求), `BeautifulSoup4` (解析HTML), `pandas` (可选，用于数据整理)
输出成果	将爬取的结构化数据保存为 CSV 或 Excel 文件
适合场景	学习爬虫基础、抓取公开榜单数据、自动化收集特定信息
使用边界	仅用于学习与测试，遵守 `robots.txt`，尊重网站版权，控制请求频率，不用于恶意爬取或商业侵权

2. 适用场景与使用边界

爬虫技术是一把双刃剑，在开始学习之前，明确其适用场景和伦理法律边界至关重要。

适用场景：

学习与研究：本教程的核心目的。通过抓取公开、非敏感的数据来理解 HTTP 协议、HTML 结构和数据处理流程。
公开数据收集：例如，收集豆瓣电影评分、天气预报、公开的政府统计数据、新闻摘要等用于个人分析。
自动化办公：定期抓取特定网站的产品价格、竞争对手信息等，整合到本地报表中。
API 测试：对于提供公开 API 的网站，爬虫脚本可以用于测试接口的稳定性和数据格式。

使用边界与合规提醒：

遵守 robots.txt：在爬取任何网站前，应访问 网站域名/robots.txt，查看该网站是否允许爬虫抓取相应目录。
控制访问频率：在代码中设置请求间隔（如 time.sleep(2)），避免对目标网站服务器造成压力，这既是道德要求，也能有效避免 IP 被封锁。
尊重版权与隐私：不得抓取受版权保护的内容（如付费文章、图片、视频）用于传播或商业用途。严禁抓取涉及个人隐私的数据。
明确学习目的：本教程所有示例仅用于教育目的。请勿将所学技术用于攻击、骚扰、欺诈或任何非法活动。
识别反爬机制：许多网站设有反爬虫措施。作为初学者，应从遵守规则、态度友好的网站开始练习。

3. 环境准备与前置条件

工欲善其事，必先利其器。下面是最小化的环境准备清单，确保你的电脑可以顺利运行 Python 爬虫代码。

操作系统：Windows 10/11, macOS, 或 Linux 均可。本文以 Windows 为例，命令在 macOS/Linux 的终端中同样适用（可能需将 pip 替换为 pip3）。
Python 环境：需要安装 Python 3.7 或更高版本。这是运行所有代码的基础。
- 检查是否安装：打开命令行（Windows 搜索 cmd 或 PowerShell），输入 python --version 或 python3 --version。如果显示版本号（如 Python 3.9.13），则已安装。
- 下载安装：如果未安装，请访问 Python 官网下载最新稳定版安装包。安装时务必勾选 “Add Python to PATH”，这是关键步骤。
代码编辑器：推荐使用 Visual Studio Code (VSCode) 或 PyCharm Community Edition。它们能提供代码高亮、智能提示和调试功能，极大提升效率。
- VSCode：轻量、免费、插件丰富。安装后，建议安装 Python 扩展。
- PyCharm：专为 Python 开发设计，功能更全面，对新手友好。
网络连接：确保你的电脑可以正常访问互联网，因为爬虫需要从目标网站下载数据。

4. 安装部署与启动方式

环境准备好后，我们需要安装爬虫必备的 Python 库。我们将通过 Python 自带的包管理工具 pip 来完成。

步骤 1：打开命令行工具

Windows: 按 Win + R，输入 cmd 或 powershell，回车。
macOS: 打开“终端”（Terminal）。
Linux: 打开终端。

步骤 2：安装核心库 在命令行中，依次输入以下命令并回车执行。如果遇到权限问题，可以在命令前加上 sudo (macOS/Linux) 或以管理员身份运行命令行 (Windows)。

BASH

# 安装 requests 库，用于发送 HTTP 请求

pip install requests

# 安装 beautifulsoup4 库，用于解析 HTML/XML 文档

pip install beautifulsoup4

# (可选但推荐) 安装 lxml 解析器，速度比默认的 html.parser 更快

pip install lxml

# (可选) 安装 pandas 库，用于数据处理和保存为表格文件

pip install pandas

步骤 3：验证安装 安装完成后，可以启动 Python 交互环境快速验证。

BASH

# 进入 Python 交互模式

python

在出现的 >>> 提示符后，输入以下代码：

PYTHON

import requests

import bs4 # 这是 beautifulsoup4 的模块名

print(“库导入成功！”)

如果没有报错，说明安装成功。输入 exit() 退出交互模式。

至此，你的爬虫“武器库”就配置完毕了。接下来，我们将进入实战环节。

5. 功能测试与效果验证：爬取豆瓣电影 Top 250

我们将以爬取“豆瓣电影 Top 250”榜单为例，这是一个经典的爬虫练习项目，结构清晰，数据公开，非常适合入门。

5.1 目标分析与网页结构查看

测试目的：理解爬虫工作的第一步——分析目标网页，找到数据所在的 HTML 标签。

操作步骤：

打开浏览器，访问 https://movie.douban.com/top250。
按 F12 打开开发者工具，切换到 Elements（元素）或 检查 标签页。
使用左上角的“选择元素”工具（或按 Ctrl+Shift+C），点击页面上任意一部电影的标题。
观察开发者工具高亮出的 HTML 代码。你会发现，每部电影的信息都包裹在一个 <div class=”item”>…</div> 的容器里。电影标题通常在 <span class=”title”> 标签内，评分在 <span class=”rating_num”> 标签内。

通过这个步骤，我们确定了数据提取的“地图”：先找到所有 class=”item” 的 div，再从每个 div 里提取标题、评分等信息。

5.2 编写第一个爬虫脚本

测试目的：编写完整的 Python 脚本，实现单页数据的抓取、解析与打印。

操作步骤：

在你的电脑上新建一个文件夹，例如 python_spider。
在该文件夹内，新建一个文本文件，将其重命名为 douban_spider.py（注意后缀是 .py）。
用代码编辑器（如 VSCode）打开这个文件，输入以下代码：

PYTHON

import requests

from bs4 import BeautifulSoup

import time

# 1. 定义目标URL和请求头

url = “https://movie.douban.com/top250”

# 请求头用于模拟浏览器访问，绕过一些简单的反爬

headers = {

‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36’

}

# 2. 发送HTTP GET请求

print(“正在发送请求…”)

try:

response = requests.get(url, headers=headers)

# 检查请求是否成功（状态码200表示成功）

response.raise_for_status()

# 设置正确的编码（豆瓣使用utf-8）

response.encoding = response.apparent_encoding or ‘utf-8’

except requests.exceptions.RequestException as e:

print(f“请求失败: {e}”)

exit()

# 3. 使用BeautifulSoup解析HTML内容

soup = BeautifulSoup(response.text, ‘lxml’) # 使用lxml解析器，需提前安装

# 4. 查找所有电影条目

# 根据之前分析的HTML结构，找到class=’item’的div标签

movie_items = soup.find_all(‘div’, class_=’item’)

print(f“本页共找到 {len(movie_items)} 部电影。”)

# 5. 遍历每个条目并提取信息

movies_data = []

for item in movie_items:

# 提取电影标题（通常第一个class=’title’的span是中文名）

title_tag = item.find(‘span’, class_=’title’)

title = title_tag.text.strip() if title_tag else ‘N/A’

# 提取评分

rating_tag = item.find(‘span’, class_=’rating_num’)

rating = rating_tag.text.strip() if rating_tag else ‘N/A’

# 提取简介（位于class=’inq’的span内）

quote_tag = item.find(‘span’, class_=’inq’)

quote = quote_tag.text.strip() if quote_tag else ‘N/A’

# 将提取的信息存入字典

movie_info = {

‘title’: title,

‘rating’: rating,

‘quote’: quote

}

movies_data.append(movie_info)

# 打印到控制台，方便即时查看

print(f“电影: {title} | 评分: {rating} | 简介: {quote}”)

# 6. 礼貌性延迟，避免请求过快

time.sleep(2)

print(“\n单页数据爬取完成！”)

预期结果与判断成功：保存文件后，在命令行中，切换到该文件所在目录，运行命令：

BASH

python douban_spider.py

如果脚本运行成功，你将在命令行中看到当前页面（Top 250 的第一页，共25部）的电影标题、评分和简介被逐行打印出来。这证明你的爬虫已经成功完成了“请求-解析-提取”的核心流程。

常见失败原因：

连接错误/超时：检查网络连接，或目标网站暂时不可访问。
ModuleNotFoundError：requests 或 beautifulsoup4 库未正确安装。请返回第4节重新安装。
返回乱码：可能是编码问题，代码中已设置 response.encoding，通常可解决。
没有输出或输出为空：可能是网页结构发生变化，或请求被拒绝（未添加 headers）。可以尝试打印 response.text[:500] 查看实际获取到的HTML内容，并与浏览器中看到的源码对比。

5.3 扩展功能：爬取多页数据并保存

测试目的：让爬虫自动翻页，抓取全部250部电影的数据，并将结果保存到CSV文件中。

操作步骤：修改 douban_spider.py 文件，更新为以下支持多页爬取和文件保存的代码：

PYTHON

import requests

from bs4 import BeautifulSoup

import time

import pandas as pd # 用于保存数据到CSV

def scrape_douban_top250():

base_url = “https://movie.douban.com/top250”

headers = {

‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36’

}

all_movies_data = []

# 豆瓣Top250共有10页，每页25条

for page in range(0, 10): # page 0 对应 start=0, page 1 对应 start=25

start = page * 25

url = f“{base_url}?start={start}”

print(f“正在爬取第 {page+1} 页: {url}”)

try:

response = requests.get(url, headers=headers)

response.raise_for_status()

response.encoding = response.apparent_encoding or ‘utf-8’

except requests.exceptions.RequestException as e:

print(f“第 {page+1} 页请求失败: {e}”)

continue # 跳过这一页，继续下一页

soup = BeautifulSoup(response.text, ‘lxml’)

movie_items = soup.find_all(‘div’, class_=’item’)

for item in movie_items:

title_tag = item.find(‘span’, class_=’title’)

title = title_tag.text.strip() if title_tag else ‘N/A’

rating_tag = item.find(‘span’, class_=’rating_num’)

rating = rating_tag.text.strip() if rating_tag else ‘N/A’

quote_tag = item.find(‘span’, class_=’inq’)

quote = quote_tag.text.strip() if quote_tag else ‘N/A’

# 也可以尝试提取其他信息，如导演、主演、年份等

info_div = item.find(‘div’, class_=’bd’)

info_text = info_div.find(‘p’).get_text(strip=True) if info_div else ‘’

# 简单分割，实际应用可能需要更精细的解析

director_actor_year = info_text.split(‘\n’)[0] if info_text else ‘N/A’

all_movies_data.append({

‘title’: title,

‘rating’: rating,

‘quote’: quote,

‘info’: director_actor_year

})

# 每爬取一页，暂停2-3秒，模拟人类浏览，避免被封IP

time.sleep(2.5)

return all_movies_data

if __name__ == ‘__main__’:

print(“开始爬取豆瓣电影 Top 250…”)

movies = scrape_douban_top250()

print(f“爬取完成！共获取 {len(movies)} 条数据。”)

# 使用pandas将数据转换为DataFrame并保存为CSV文件

df = pd.DataFrame(movies)

csv_filename = ‘douban_top250.csv’

df.to_csv(csv_filename, index=False, encoding=‘utf-8-sig’) # ‘utf-8-sig’确保Excel打开不乱码

print(f“数据已保存到文件: {csv_filename}”)

# 在控制台预览前5条数据

print(“\n数据预览：”)

print(df.head())

预期结果与判断成功：运行此脚本后，程序将依次爬取10页数据，整个过程可能需要30-60秒。最终，会在脚本同目录下生成一个名为 douban_top250.csv 的文件。用 Excel 或文本编辑器打开，可以看到包含电影标题、评分、简介和基本信息的结构化表格。控制台会显示爬取进度和最终的数据预览。

6. 接口 API 与批量任务

对于更复杂的爬取任务，如需要处理大量URL（批量任务）或网站提供了数据接口（API），我们需要更工程化的方法。

6.1 构建简单的批量任务队列

场景：你有1000个不同商品ID，需要分别抓取它们的详情页信息。

思路：将待抓取的URL列表放入一个队列（Python列表即可），然后循环处理，并为每个任务添加错误处理和日志记录。

PYTHON

import requests

import time

import logging

from concurrent.futures import ThreadPoolExecutor, as_completed # 用于简单并发

# 配置日志，记录运行情况

logging.basicConfig(level=logging.INFO, format=‘%(asctime)s - %(levelname)s - %(message)s’)

logger = logging.getLogger(__name__)

def fetch_product_page(product_id):

"""抓取单个商品页面的函数"""

url = f“https://example.com/product/{product_id}” # 示例URL

headers = {‘User-Agent’: ‘Your User-Agent’}

try:

response = requests.get(url, headers=headers, timeout=10)

response.raise_for_status()

# 这里添加解析逻辑...

logger.info(f“成功抓取商品 {product_id}”)

return {‘id’: product_id, ‘html’: response.text}

except Exception as e:

logger.error(f“抓取商品 {product_id} 失败: {e}”)

return None

def batch_crawl(product_ids, max_workers=3, delay=1):

"""批量抓取主函数"""

results = []

# 使用线程池控制并发数，避免请求过快

with ThreadPoolExecutor(max_workers=max_workers) as executor:

future_to_id = {executor.submit(fetch_product_page, pid): pid for pid in product_ids}

for future in as_completed(future_to_id):

product_id = future_to_id[future]

try:

result = future.result(timeout=15)

if result:

results.append(result)

except Exception as e:

logger.error(f“处理商品 {product_id} 的 future 时出错: {e}”)

time.sleep(delay) # 控制整体请求频率

return results

if __name__ == ‘__main__’:

# 假设有100个商品ID需要抓取

all_product_ids = list(range(1001, 1101))

logger.info(f“开始批量抓取，共 {len(all_product_ids)} 个任务。”)

data = batch_crawl(all_product_ids, max_workers=5, delay=0.5)

logger.info(f“批量抓取结束，成功 {len(data)} 条，失败 {len(all_product_ids)-len(data)} 条。”)

关键点：

并发控制：使用 ThreadPoolExecutor 可以同时发起多个请求，提高效率，但务必设置合理的 max_workers（如3-5）和请求间隔 delay，以免被封IP。
错误处理：每个任务都有 try…except 包裹，即使单个任务失败也不会导致整个程序崩溃。
日志记录：使用 logging 模块记录成功和失败信息，便于后期排查。

6.2 识别并使用网站 API

场景：许多现代网站（尤其是单页应用 SPA）通过 API 接口动态加载数据。直接分析 API 请求比解析渲染后的 HTML 更高效、稳定。

操作步骤：

打开目标网站，按 F12 进入开发者工具。
切换到 Network（网络）标签页，勾选 XHR 或 Fetch 过滤器。
在网页上进行操作（如点击“加载更多”、搜索），观察网络面板中出现的请求。
找到返回 JSON 格式数据的请求，查看其 Headers（请求头）和 Payload（请求参数）。
在爬虫代码中，模拟这个请求。

示例代码框架：

PYTHON

import requests

import json

# 假设分析得到某个API

api_url = “https://api.example.com/search”

headers = {

‘User-Agent’: ‘...‘,

‘Referer’: ‘...‘, # 有时需要

‘Authorization’: ‘Bearer ...‘, # 如果需要认证

‘Content-Type’: ‘application/json’, # 表明发送JSON数据

}

params = {

‘keyword’: ‘Python’,

‘page’: 1,

‘size’: 20

}

# 或者使用 json 参数发送 POST 请求

# data = {‘query’: ‘...’}

try:

# 如果是 GET 请求带参数

response = requests.get(api_url, headers=headers, params=params, timeout=10)

# 如果是 POST 请求

# response = requests.post(api_url, headers=headers, json=data, timeout=10)

response.raise_for_status()

# 直接解析返回的JSON数据

data_json = response.json()

# 处理 data_json...

print(json.dumps(data_json, indent=2, ensure_ascii=False))

except requests.exceptions.RequestException as e:

print(f“API请求失败: {e}”)

使用 API 通常能获得结构更清晰的数据，但需要注意接口的调用频率限制和认证要求。

7. 资源占用与性能观察

Python 爬虫脚本本身对硬件资源要求不高，主要消耗的是网络 I/O 和少量内存/CPU。性能瓶颈通常出现在网络请求和数据处理环节。

网络带宽与延迟：这是影响爬取速度的主要因素。如果目标服务器响应慢，爬虫就会等待。解决方案是合理设置超时（timeout）和使用会话（requests.Session）复用连接。
内存占用：一次性将所有抓取的数据保存在内存列表中，如果数据量极大（如百万级），可能导致内存不足。应边抓取边保存到文件或数据库，或使用生成器（yield）。
CPU 占用：HTML 解析（特别是用 lxml）会消耗一定 CPU。对于超大型文档，解析可能成为瓶颈。可以考虑使用更高效的解析器或优化选择器。
观察方法：
- 任务管理器/活动监视器：运行爬虫时，可以打开系统的资源监视器，观察 Python 进程的 CPU、内存和网络活动。
- 代码性能分析：对于复杂爬虫，可以使用 Python 内置的 cProfile 模块或 line_profiler 库分析代码中各部分的耗时。

优化建议：

使用连接池：requests.Session() 可以复用 TCP 连接，提升连续请求的速度。
异步爬虫：对于 I/O 密集型任务，可以考虑 aiohttp + asyncio 库实现异步爬取，能极大提升吞吐量。但异步编程复杂度较高，适合进阶学习。
分布式爬取：对于超大规模爬取，需要考虑使用 Scrapy-Redis 等框架进行分布式部署，这超出了入门教程范围。

8. 常见问题与排查方法

在爬虫学习过程中，你一定会遇到各种问题。下表汇总了最常见的问题及其解决方法。

问题现象	可能原因	排查方式	解决方案
`ConnectionError` / `Timeout`	网络不通、目标服务器宕机、防火墙阻止、请求超时设置过短。	1. 用浏览器访问目标URL，确认网络可达。 2. 使用 `ping` 或 `traceroute` 命令测试网络。 3. 检查代码中的 `timeout` 参数。	1. 检查本地网络。 2. 增加 `timeout` 值（如 `timeout=30`）。 3. 添加重试机制（如 `requests.adapters.HTTPAdapter`）。
`HTTP 403 Forbidden`	请求被服务器拒绝。常见于未添加 `User-Agent` 等请求头，或 IP 被识别为爬虫。	1. 检查 `headers` 是否模拟了浏览器。 2. 打印 `response.headers` 查看是否有反爬提示。	1. 完善 `headers`，添加 `User-Agent`, `Referer` 等。 2. 降低请求频率，增加随机延迟。 3. 考虑使用代理 IP（需谨慎，遵守法律）。
`HTTP 404 Not Found`	请求的 URL 不存在。	检查代码中的 URL 是否拼写错误，或网站页面结构已变更。	手动在浏览器访问该 URL 确认，并更新代码中的 URL。
`SSLError`	SSL 证书验证失败。	常见于某些自签名证书的网站。	在 `requests.get()` 中添加参数 `verify=False` (仅用于测试，生产环境有安全风险)。
返回数据乱码	编码不一致。服务器返回的编码与解析时使用的编码不同。	打印 `response.encoding` 和 `response.headers[‘Content-Type’]` 查看。	1. 设置 `response.encoding = ‘utf-8’` 或 `response.apparent_encoding`。 2. 使用 `response.content.decode(‘正确的编码’)`。
`BeautifulSoup` 找不到标签	1. 网页是动态加载的（JavaScript渲染）。 2. HTML 结构已变化。 3. 选择器写错了。	1. 对比 `response.text` 和浏览器“查看网页源代码”的内容。 2. 使用 `print(soup.prettify()[:2000])` 查看解析后的结构。	1. 动态页面：需使用 `Selenium` 或 `Playwright` 等工具模拟浏览器。 2. 结构变化：更新选择器。 3. 使用更通用的选择方法，如 `find()` 配合多个属性。
爬取速度慢	1. 单线程顺序请求。 2. 网络延迟高。 3. 代码中有不必要的同步操作。	观察程序运行时 CPU 和网络使用率。	1. 使用 `concurrent.futures` 进行简单的多线程/进程并发。 2. 考虑异步爬虫 (`aiohttp`)。 3. 优化代码，减少不必要的循环和计算。
IP 被封锁	请求频率过高，触发了网站的反爬策略。	短时间内无法再访问目标网站。	1. 最重要的：严格遵守 `robots.txt`，大幅降低请求频率，添加随机延迟。 2. 暂停爬虫一段时间（如几小时或一天）。 3. 对于必须进行的爬取，研究使用合法的代理池（技术复杂，法律风险高，初学者慎用）。

9. 最佳实践与使用建议

掌握了基础之后，遵循以下最佳实践能让你的爬虫之路走得更稳、更远。

从简单开始，逐步复杂：先爬取结构简单的静态网站（如本教程的豆瓣），再尝试带有简单参数和分页的网站，最后挑战动态渲染或需要登录的网站。
善用开发者工具：F12 是你的主要侦察工具。熟练使用 Elements（元素）、Network（网络）、Console（控制台）面板。
编写健壮的代码：
- 异常处理：对所有网络请求和可能出错的操作使用 try…except。
- 设置超时：为 requests 请求设置 timeout 参数，避免程序无限期挂起。
- 使用会话：对于需要多次请求同一站点的任务，使用 requests.Session()。
数据存储规范化：不要只打印到屏幕。根据数据量选择存储方式：少量用 CSV/JSON 文件，大量用 SQLite/MySQL 数据库。
版本管理与代码备份：使用 Git 管理你的爬虫代码。将敏感信息（如 API Key）存储在环境变量或配置文件中，不要硬编码在代码里。
伦理与法律意识常驻心中：
- 目的正当：仅将爬虫用于学习、研究或获取已公开且允许抓取的数据。
- 行为友好：设置合理的请求间隔，避免在对方服务器高峰时段运行爬虫。
- 尊重版权：不爬取、不传播受版权保护的内容。
- 保护隐私：绝不抓取、存储或泄露个人隐私信息。
持续学习：爬虫技术在与反爬技术的对抗中不断发展。关注 requests、BeautifulSoup、Scrapy、Selenium 等库的官方文档和社区。

10. 总结与下一步

通过本文，你已经完成了一个完整的 Python 爬虫入门之旅：从环境搭建、库安装，到分析网页、编写代码抓取数据，再到处理多页翻页、保存结果，最后了解了常见错误和优化方向。这个流程是大多数爬虫项目的通用骨架。

最值得尝试的下一步：

更换目标：找一个你感兴趣的、结构类似的网站（例如一个新闻列表页、一个产品目录页），模仿本文的代码结构，尝试自己独立完成一次数据抓取。这是巩固学习效果的最佳方式。
丰富数据字段：在豆瓣例子中，尝试提取更多信息，如电影导演、主演、上映年份、评价人数等。
学习 Scrapy 框架：当你需要爬取大量网站或构建复杂的爬虫项目时，Scrapy 这个专业的爬虫框架能提供更强大的调度、去重、管道处理功能。它是爬虫工程师的必备技能。
挑战动态页面：尝试用 Selenium 库控制浏览器，来抓取那些需要滚动、点击才能加载数据的网站。

爬虫是一个实践性极强的技能，看十遍不如动手写一遍。建议你将本文的代码亲手敲一遍，并针对每个步骤提出自己的“如果…会怎样？”的问题，然后通过修改代码和搜索答案来验证。遇到问题不要怕，仔细阅读错误信息、善用搜索引擎（如 Stack Overflow）、查阅官方文档，你解决问题的能力会在这个过程中飞速提升。