Python爬虫实战：从零到一掌握数据采集核心技能

Python爬虫requestsBeautifulSoup

于 2026-08-03 04:08:57 修改

·本内容遵循CC 4.0 BY-SA版权协议

在实际项目中，数据获取是开发的第一步，而Python爬虫因其简洁的语法和丰富的库，成为从互联网上自动化采集数据的首选工具。很多初学者面对网络请求、HTML解析、反爬机制等概念时感到无从下手，或者只学会了零散的代码片段，却无法独立完成一个完整的、健壮的爬虫项目。本文旨在为希望系统掌握Python爬虫核心技能的开发者提供一个从零到一的实战指南。我们将不依赖任何外部教程视频，而是通过清晰的文字、代码和步骤，带你理解爬虫的工作原理，亲手搭建环境，编写代码抓取真实网页数据，并处理过程中遇到的各种典型问题。无论你是刚接触Python的新手，还是希望巩固爬虫知识的中级开发者，都能通过本文构建起可复现、可排查、可扩展的爬虫实践能力。

1. 理解Python爬虫的核心机制与法律边界

在动手写代码之前，必须清晰地理解爬虫是什么、它是如何工作的，以及最重要的——它的合法使用边界。这能帮助你避免技术陷阱和法律风险。

1.1 爬虫是什么：自动化数据采集程序

通俗地讲，爬虫（Web Crawler/Spider）是一段自动访问网页、下载内容并从中提取所需信息的程序。它模拟了人类使用浏览器浏览网页的行为，但速度更快、更不知疲倦。其核心工作流程可以概括为“请求-响应-解析-存储”四个步骤。

从技术定义上看，一个基本的网络爬虫包含以下几个组件：

HTTP客户端：用于向目标服务器发送网络请求（如GET、POST）。
HTML/XML解析器：用于解析服务器返回的HTML或XML文档，定位并提取目标数据。
数据处理器：对提取到的原始数据进行清洗、去重、格式化。
存储器：将处理后的数据保存到文件（如CSV、JSON）或数据库（如MySQL、MongoDB）中。
调度器（可选）：管理待抓取的URL队列，控制爬取速度和深度，用于构建更复杂的分布式爬虫。

在当前Python生态中，requests库是处理HTTP请求的事实标准，而BeautifulSoup和lxml则是HTML/XML解析的利器。对于更复杂、需要模拟浏览器行为（如执行JavaScript）的场景，Selenium或Playwright这类自动化测试工具也常被用作爬虫的一部分。

1.2 爬虫如何工作：从URL到结构化数据

我们以一个最简单的爬虫目标——获取某个新闻网站首页的标题列表为例，拆解其工作流程：

构造请求：程序首先需要知道目标网页的地址（URL）。然后，使用requests.get(url)向该地址发送一个HTTP GET请求。
接收响应：目标网站的服务器收到请求后，会返回一个HTTP响应。这个响应包含状态码（如200表示成功，404表示未找到）、响应头（包含编码、内容类型等信息）和最重要的——响应体（即网页的HTML源代码）。
解析内容：程序拿到HTML源代码后，它只是一长串文本。我们需要使用解析库（如BeautifulSoup）将其加载成一个树状结构（DOM树）。然后，通过CSS选择器或XPath语法，定位到包含新闻标题的HTML元素（例如，所有<h2 class=”news-title”>标签）。
提取与存储：从定位到的元素中提取出纯文本（即标题文字），并进行必要的清洗（如去除首尾空格）。最后，将提取到的标题列表写入一个文本文件或CSV文件中。

这个过程看似简单，但在实际项目中，每一步都可能遇到挑战，如网络超时、页面编码问题、动态加载内容、网站反爬措施等。

1.3 至关重要的法律与道德规范

技术本身是中立的，但使用技术的方式必须合规。在编写和运行爬虫前，请务必遵守以下原则：

查看robots.txt：访问 目标网站域名/robots.txt。这个文件指明了网站允许和禁止爬虫访问的路径。尊重robots.txt是行业基本规范。
遵守网站服务条款：许多网站的用户协议中明确禁止自动化抓取数据。
控制访问频率：过于频繁的请求会对目标服务器造成压力，可能被视为攻击。务必在请求间添加延时（例如time.sleep(2)），避免对服务器造成干扰。
仅抓取公开数据：切勿尝试抓取需要登录后才能访问的个人隐私数据、付费内容或受版权严格保护的数据，除非已获得明确授权。
明确数据用途：抓取的数据应用于个人学习、研究或合法的商业分析，不得用于非法交易、诈骗或侵害他人权益。

注意：本文所有示例仅用于技术学习，目标网站为允许爬虫练习的公共测试网站或示例网站。在实际抓取任何商业网站数据前，请务必进行合规性评估。

2. 搭建Python爬虫开发环境

一个稳定、隔离的开发环境是项目成功的基础。推荐使用Miniconda或Anaconda来管理Python环境和包依赖，它可以有效解决不同项目间包版本冲突的问题。

2.1 安装Python与包管理工具

如果你尚未安装Python，请按以下步骤操作：

访问官网下载：前往Python官方网站（python.org），下载适合你操作系统（Windows/macOS/Linux）的最新稳定版本（如Python 3.9+）。安装时，务必勾选“Add Python to PATH”选项（Windows）或将安装路径添加到系统环境变量中。
验证安装：打开命令行终端（Windows的CMD或PowerShell，macOS/Linux的Terminal），输入以下命令检查Python和包管理工具pip是否安装成功。

BASH

python --version

pip --version

如果显示版本号（如Python 3.9.13），则说明安装成功。

虽然可以使用系统Python，但更推荐使用Miniconda。它是一个轻量级的conda发行版，可以创建独立的虚拟环境。

BASH

# 安装Miniconda后，创建一个名为web_crawler的虚拟环境，并指定Python版本

conda create -n web_crawler python=3.9

# 激活该环境

conda activate web_crawler

# 激活后，命令行提示符前通常会显示环境名(web_crawler)

2.2 安装核心爬虫库

在激活的虚拟环境中，使用pip安装我们即将用到的核心库。我们将主要使用requests和BeautifulSoup4。

BASH

# 安装requests库，用于发送HTTP请求

pip install requests

# 安装beautifulsoup4库，用于解析HTML/XML

pip install beautifulsoup4

# 安装lxml解析器，BeautifulSoup可以选择用它来加速解析（比内置的html.parser更快更强）

pip install lxml

# 可选：安装pandas，用于后续将数据方便地存储为Excel或CSV

pip install pandas

安装完成后，可以通过pip list命令查看已安装的包及其版本。

2.3 选择代码编辑器或IDE

你可以使用任何熟悉的文本编辑器，但集成开发环境（IDE）能提供代码补全、调试等强大功能，极大提升效率。

PyCharm：功能强大的专业Python IDE，社区版免费。
VS Code：轻量级且高度可扩展的编辑器，安装Python扩展后体验极佳。
Jupyter Notebook：非常适合做数据分析和分步演示，但不适合大型爬虫项目开发。

以VS Code为例，你需要安装官方的“Python”扩展。安装后，在VS Code底部状态栏可以选择我们刚才用conda创建的web_crawler解释器环境。

3. 第一个爬虫：抓取静态网页标题

现在，我们从最简单的任务开始：抓取一个静态网页（所有内容都在初始HTML中）的标题。我们以一个用于爬虫练习的网站“http://books.toscrape.com/”为例。

3.1 项目结构与代码实现

首先，创建一个项目文件夹，例如first_spider。在该文件夹下，创建一个Python文件，命名为scrape_titles.py。

PYTHON

# scrape_titles.py

import requests

from bs4 import BeautifulSoup

import time

# 目标URL - 这是一个公开的、用于练习爬虫的网站

url = 'http://books.toscrape.com/'

def scrape_books_titles():

"""

抓取Books to Scrape网站首页的图书标题

"""

try:

# 1. 发送HTTP GET请求

# 添加一个User-Agent头，模拟浏览器访问，这是最基本的反反爬策略

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'

}

print(f"正在请求: {url}")

response = requests.get(url, headers=headers, timeout=10) # timeout设置超时时间

# 2. 检查请求是否成功

response.raise_for_status() # 如果状态码不是200，将抛出HTTPError异常

print(f"请求成功，状态码: {response.status_code}")

# 3. 设置正确的编码并解析HTML

# 有些网站编码不是UTF-8，需要根据响应头或HTML meta标签判断

response.encoding = response.apparent_encoding # 自动判断编码

soup = BeautifulSoup(response.text, 'lxml') # 使用lxml解析器

# 4. 定位并提取数据

# 通过浏览器开发者工具检查，发现书名在<h3>标签下的<a>标签的title属性里

# 我们先找到所有包含图书信息的article元素

book_articles = soup.find_all('article', class_='product_pod')

titles = []

for article in book_articles:

# 找到article下的h3标签，再找到其下的a标签，获取title属性

title_tag = article.h3.a

if title_tag and title_tag.has_attr('title'):

book_title = title_tag['title']

titles.append(book_title)

print(f"找到书名: {book_title}")

# 5. 简单存储数据（打印到控制台并写入文件）

print(f"\n共找到 {len(titles)} 本书。")

with open('book_titles.txt', 'w', encoding='utf-8') as f:

for title in titles:

f.write(title + '\n')

print("书名已保存到 book_titles.txt")

except requests.exceptions.RequestException as e:

print(f"网络请求出错: {e}")

except Exception as e:

print(f"程序运行出错: {e}")

if __name__ == '__main__':

scrape_books_titles()

# 礼貌性延时，避免短时间内连续请求

time.sleep(2)

3.2 关键代码与参数详解

requests.get(url, headers, timeout):
- url: 目标网页地址。
- headers: 请求头字典。User-Agent是关键，它告诉服务器我们是什么客户端。使用常见的浏览器UA可以避免被一些简单的反爬策略直接拒绝。
- timeout: 超时时间（秒）。防止因网络问题导致程序长时间挂起。
response.raise_for_status():
- 这是一个便捷方法。如果响应状态码是4xx（客户端错误）或5xx（服务器错误），它会抛出一个HTTPError异常，让我们能及时处理错误，而不是继续解析错误页面。
response.encoding 与 response.apparent_encoding:
- response.encoding是requests库猜测的编码，有时不准。response.apparent_encoding是库通过分析内容得出的编码，通常更准确。正确设置编码是解决中文乱码问题的第一步。
BeautifulSoup(response.text, ‘lxml’):
- 第一个参数是HTML文本字符串。
- 第二个参数是指定解析器。’lxml’速度快、功能强，需要额外安装lxml库。’html.parser’是Python内置的，无需安装但速度稍慢。’html5lib’容错性最好但速度最慢。
soup.find_all(‘article’, class_=’product_pod’):
- find_all()方法查找所有匹配的标签。
- 参数可以是标签名（如’div’）、属性字典（如{‘class’: ‘product_pod’}）或两者结合。class_（注意下划线）是因为class是Python关键字，所以BeautifulSoup用class_来代表HTML的class属性。
数据提取路径 article.h3.a[‘title’]:
- 这是通过标签层级关系来定位。前提是你已经通过浏览器开发者工具（F12）分析清楚了目标数据的HTML结构。这是爬虫编写中最关键的一步。

3.3 运行验证与结果分析

在终端中，进入first_spider目录，运行你的脚本：

BASH

cd path/to/first_spider

python scrape_titles.py

预期成功输出：

TEXT

正在请求: http://books.toscrape.com/

请求成功，状态码: 200

找到书名: A Light in the ...

找到书名: Tipping the Velvet...

...

共找到 20 本书。

书名已保存到 book_titles.txt

同时，当前目录下会生成一个book_titles.txt文件，里面每行是一个书名。

如果遇到错误，请检查：

网络连接：能否正常访问 http://books.toscrape.com/。
依赖安装：是否在正确的虚拟环境中运行，且requests, beautifulsoup4, lxml已安装。
代码缩进：Python对缩进敏感，确保try-except和for循环的缩进正确。
防火墙或代理：某些网络环境可能需要配置代理。

4. 处理复杂情况：分页抓取与数据存储

大多数网站的数据不会全部放在一页。我们需要处理分页，并选择更结构化的方式存储数据。

4.1 分析分页逻辑与构建URL队列

继续以“Books to Scrape”为例，点击网站底部的分页，观察URL变化规律：

第一页：http://books.toscrape.com/catalogue/page-1.html
第二页：http://books.toscrape.com/catalogue/page-2.html
...
第五十页：http://books.toscrape.com/catalogue/page-50.html

规律很明显：页码是URL中的一个变量。我们可以用一个循环来构建所有页面的URL。但更稳健的做法是，先抓取第一页，从其中解析出“下一页”的链接，或者计算出总页数。

PYTHON

# scrape_pagination.py

import requests

from bs4 import BeautifulSoup

import time

import pandas as pd

base_url = 'http://books.toscrape.com/catalogue/'

start_url = base_url + 'page-1.html'

def get_page_books(url):

"""抓取单页的图书信息（书名和价格）"""

books_on_page = []

try:

headers = {'User-Agent': 'Mozilla/5.0...'}

response = requests.get(url, headers=headers, timeout=10)

response.raise_for_status()

response.encoding = response.apparent_encoding

soup = BeautifulSoup(response.text, 'lxml')

book_articles = soup.find_all('article', class_='product_pod')

for article in book_articles:

title_tag = article.h3.a

price_tag = article.find('p', class_='price_color') # 查找价格元素

if title_tag and title_tag.has_attr('title') and price_tag:

book_title = title_tag['title']

# 价格文本通常包含英镑符号，我们提取数字部分

book_price = price_tag.get_text().strip()

books_on_page.append({

'title': book_title,

'price': book_price

})

print(f"已处理页面: {url}, 找到 {len(books_on_page)} 本书。")

except Exception as e:

print(f"处理页面 {url} 时出错: {e}")

return books_on_page

def scrape_all_books(max_pages=5):

"""抓取多页图书信息"""

all_books = []

current_page = 1

current_url = start_url

while current_page <= max_pages and current_url:

print(f"\n开始抓取第 {current_page} 页...")

books = get_page_books(current_url)

all_books.extend(books)

# 模拟人工操作，避免请求过快

time.sleep(1)

# 寻找下一页链接（更通用的方法）

try:

response = requests.get(current_url, headers={'User-Agent': 'Mozilla/5.0...'}, timeout=5)

soup = BeautifulSoup(response.text, 'lxml')

next_button = soup.find('li', class_='next')

if next_button and next_button.a:

# 构建下一页的完整URL，注意处理相对路径

next_page_part = next_button.a['href']

# 由于网站分页URL是相对base_url的，需要拼接

# 但此例中，page-2.html等链接已经是相对于catalogue目录的完整路径

# 更通用的做法是使用urllib.parse.urljoin

from urllib.parse import urljoin

current_url = urljoin(current_url, next_page_part)

current_page += 1

else:

print("没有找到下一页，抓取结束。")

break

except Exception as e:

print(f"寻找下一页时出错: {e}")

break

return all_books

if __name__ == '__main__':

# 限制抓取5页作为演示

all_books_data = scrape_all_books(max_pages=5)

print(f"\n总共抓取到 {len(all_books_data)} 条图书信息。")

# 使用pandas将数据存储为CSV和Excel

if all_books_data:

df = pd.DataFrame(all_books_data)

df.to_csv('books_data.csv', index=False, encoding='utf-8-sig') # utf-8-sig解决Excel打开中文乱码

df.to_excel('books_data.xlsx', index=False)

print("数据已保存为 books_data.csv 和 books_data.xlsx")

4.2 使用Pandas进行数据存储与导出

上面的代码引入了pandas库，它将数据列表转换为DataFrame（一个二维表格数据结构），然后可以轻松导出为多种格式。

pd.DataFrame(all_books_data): 将字典列表转换为DataFrame。
df.to_csv(‘books_data.csv’, index=False, encoding=’utf-8-sig’):
- index=False: 不将DataFrame的行索引写入文件。
- encoding=’utf-8-sig’: 使用带BOM的UTF-8编码，这是为了兼容微软Excel（旧版本）打开CSV文件时可能出现的乱码问题。
df.to_excel(‘books_data.xlsx’, index=False): 直接保存为Excel文件，可读性更好。

4.3 运行与验证

运行scrape_pagination.py。程序将依次抓取前5页（或直到没有下一页）的图书标题和价格，并保存到books_data.csv和books_data.xlsx中。你可以用Excel或文本编辑器打开查看结果。

5. 应对常见反爬策略与问题排查

真实的网站通常会部署反爬虫机制。以下是一些常见策略及应对方法，以及对应的排查思路。

5.1 常见反爬策略与基础应对

反爬策略	现象/识别	基础应对方法	注意事项
User-Agent检测	返回403错误或简单提示页。	在请求头`headers`中设置常见的浏览器User-Agent。	可以准备一个UA列表轮流使用。
请求频率限制	请求一段时间后返回429（Too Many Requests）或直接封IP。	在请求间添加随机延时 `time.sleep(random.uniform(1, 3))`。	延时时间应模拟人类操作，并尽量随机化。
IP封禁	所有请求均超时或返回错误页。	使用代理IP池。免费代理不稳定，商业代理服务需付费。	合规性警告：滥用代理抓取可能违反法律和网站条款。
登录验证	返回登录页面或要求输入验证码。	使用`requests.Session()`保持会话，并模拟登录流程（POST用户名密码）。	处理验证码需要OCR库（如`ddddocr`）或打码平台，复杂度高。
动态加载（AJAX/JS）	浏览器能看到数据，但`requests`抓取的HTML里没有。	分析XHR网络请求，直接请求数据接口（API）。或使用`Selenium`/`Playwright`渲染JS。	直接调用API效率更高。`Selenium`慢且重，适合最后手段。
数据混淆	价格、电话等关键信息被CSS偏移或字体加密。	分析CSS样式映射关系，或使用字体解析库还原。	需要逆向工程，难度较大。

5.2 爬虫问题排查清单

当你的爬虫不工作时，请按以下顺序排查：

检查网络与目标URL：
- 能否在浏览器中手动访问目标URL？
- URL是否拼写正确？（特别是查询参数）
- 网站是否已下线或改版？
检查请求与响应：
- 打印response.status_code。如果不是200，说明请求本身就有问题。
- 打印response.text的前500个字符，看看返回的是不是预期的HTML，还是反爬提示（如“Access Denied”）或验证页面。
- 检查请求头headers是否设置完整（至少包含User-Agent、Referer有时也需要）。
检查数据解析：
- 将response.text保存为本地HTML文件，用浏览器打开，确认所需数据在页面中。
- 使用浏览器开发者工具的“检查”功能，确认你使用的CSS选择器或XPath路径是否能准确定位到目标元素。网站结构可能已更改。
- 在代码中打印soup.find(…)的中间结果，看是否找到了元素。
检查编码与数据清洗：
- 打印response.encoding和response.apparent_encoding。
- 检查提取到的文本是否有乱码，或包含大量无关的空白、换行符。
检查程序逻辑：
- 循环或条件判断的逻辑是否正确？
- 异常处理是否吞掉了有用的错误信息？（不要使用过于宽泛的except:）
- 文件写入路径是否有权限？

5.3 代码示例：添加延时与异常处理增强

下面是一个增强了健壮性的请求函数示例：

PYTHON

import requests

import time

import random

from requests.exceptions import RequestException

def robust_request(url, headers=None, retries=3, delay_range=(1, 3)):

"""

一个更健壮的请求函数，包含重试机制和随机延时。

"""

if headers is None:

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'

}

for attempt in range(retries):

try:

# 随机延时，模拟人类操作

time.sleep(random.uniform(*delay_range))

response = requests.get(url, headers=headers, timeout=15)

response.raise_for_status()

# 可以在这里添加对响应内容的初步检查，例如是否包含特定关键字

if "Access Denied" in response.text:

raise RequestException(f"页面可能被反爬，内容包含‘Access Denied’")

return response

except RequestException as e:

print(f"第{attempt+1}次请求失败 ({url}): {e}")

if attempt == retries - 1: # 最后一次重试也失败

raise # 将异常向上抛出

wait_time = 2 ** attempt # 指数退避

print(f"等待{wait_time}秒后重试...")

time.sleep(wait_time)

return None # 正常情况下不会执行到这里

# 使用示例

try:

resp = robust_request('http://books.toscrape.com/', retries=2)

if resp:

print("请求成功")

except Exception as e:

print(f"所有重试均失败: {e}")

6. 进阶方向与最佳实践

掌握基础爬虫后，你可以向以下方向深入，并遵循最佳实践来编写更可靠、可维护的爬虫。

6.1 爬虫框架：Scrapy

对于大型、复杂的爬虫项目，手动管理URL队列、去重、并发、管道处理会非常繁琐。此时应该使用专业的爬虫框架，如 Scrapy。

Scrapy的核心优势：

内置高性能：基于Twisted异步网络库，并发能力强。
项目结构清晰：通过命令行工具生成标准项目结构，代码组织规范。
中间件机制：可以方便地插入自定义的请求/响应处理逻辑（如代理、UA轮换）。
Item Pipeline：提供数据清洗、验证、存储的管道，方便扩展。
内置选择器：集成Parsel库，支持CSS和XPath选择器，比BeautifulSoup在某些场景下更快。

学习建议：在熟练使用requests+BeautifulSoup解决中等难度问题后，即可开始学习Scrapy。它的学习曲线初期较陡，但长远来看能极大提升开发效率。

6.2 处理动态内容：Selenium/Playwright

当目标数据由JavaScript动态生成，且无法找到直接的数据API时，需要使用能控制真实浏览器的工具。

Selenium：老牌Web自动化测试工具，支持多种浏览器。需要下载对应的浏览器驱动（如ChromeDriver）。
Playwright：微软推出的较新工具，API更现代，性能更好，支持浏览器自动下载。

PYTHON

# 使用Selenium获取动态内容的示例

from selenium import webdriver

from selenium.webdriver.common.by import By

from selenium.webdriver.support.ui import WebDriverWait

from selenium.webdriver.support import expected_conditions as EC

options = webdriver.ChromeOptions()

options.add_argument('--headless') # 无头模式，不打开浏览器窗口

driver = webdriver.Chrome(options=options) # 确保chromedriver在PATH中

try:

driver.get('https://example.com')

# 等待某个动态加载的元素出现

element = WebDriverWait(driver, 10).until(

EC.presence_of_element_located((By.CSS_SELECTOR, ".dynamic-content"))

)

# 获取渲染后的页面源码

page_source = driver.page_source

# 之后可以用BeautifulSoup解析page_source

# soup = BeautifulSoup(page_source, 'lxml')

finally:

driver.quit()

注意：无头模式虽方便，但有些网站能检测到并予以屏蔽。此外，Selenium速度远慢于直接HTTP请求，仅作为最后手段。

6.3 爬虫工程化最佳实践

配置外置化：将URL、请求头、延时参数、数据库连接信息等写入配置文件（如config.yaml或config.ini）或环境变量，不要硬编码在代码里。
日志记录：使用Python内置的logging模块记录程序运行状态、错误和信息，而不是简单使用print。这便于后期排查问题和监控。
数据去重：在爬取过程中，使用集合（Set）或布隆过滤器（Bloom Filter）对已抓取的URL或数据主键进行去重，避免重复抓取。
增量爬取：设计爬虫时，思考如何只抓取新增或更新的数据，而不是每次全量抓取。可以通过记录数据更新时间戳来实现。
错误恢复：爬虫可能因网络波动、网站改版而中断。设计时应考虑断点续爬，例如将待抓取URL队列持久化到文件或数据库中。
遵守robots.txt：再次强调，在发起任何请求前，先检查并遵守目标网站的robots.txt协议。
设定明确的停止条件：无论是抓取固定页数、达到时间限制，还是发现特定标志，都要让爬虫能够正常、可控地停止。

从简单的静态页面抓取到应对复杂的反爬策略，Python爬虫的学习是一个循序渐进的过程。核心在于理解HTTP协议、熟练掌握HTML解析、并具备分析和解决问题的能力。建议从本文的示例出发，先尝试修改代码去抓取其他结构简单的公开网站，然后逐步挑战更复杂的目标。记住，耐心、细致的观察（使用浏览器开发者工具）和循序渐进的调试，是解决爬虫问题的关键。当你熟悉了这些基础技能后，便可以自然地过渡到Scrapy框架的学习，以应对更大型、更专业的爬取任务。