Python爬虫入门实战：从环境搭建到数据抓取完整指南

Python爬虫requestsBeautifulSoup

于 2026-08-03 04:08:31 修改

·本内容遵循CC 4.0 BY-SA版权协议

这类教程最值得先看的不是它承诺的“零基础速通”，而是能不能帮你把爬虫从概念落到能跑起来的代码。很多新手卡住的点根本不是 Python 语法，而是环境装不对、请求发不出、数据解析不了、或者跑一次就被网站限制。这个教程如果真能做到“全程干货”，那它的价值应该体现在：用最少的弯路，带你完成“安装环境 -> 发送请求 -> 解析数据 -> 保存结果 -> 处理常见反爬”这个完整链路。

我建议你先别急着找“一个视频”，而是按这个顺序验证自己是否真的掌握了：第一，你的 Python 和基础库环境是否干净、可运行；第二，你能不能独立写出一个请求，拿到网页 HTML；第三，你能不能从一堆 HTML 标签里准确提取出你要的文字、链接或图片地址；第四，提取出来的数据你能不能存成 CSV 或 Excel；第五，当你遇到访问限制或页面结构变化时，有没有基本的排查和调整思路。

下面我就按一个真正能跑通的爬虫学习路径，拆解每个环节必须掌握的核心操作和最容易踩的坑。这不是某个视频的复述，而是我根据常见问题总结的、你可以直接跟着做的检查清单和实践步骤。

1. 环境准备：别在第一步就卡住

很多人学爬虫，一半时间花在安装和环境报错上。所谓“零基础”教程，必须从这里开始讲清楚。

1.1 Python 安装与验证：确认基础解释器能用

不要同时安装多个 Python 版本，特别是 Windows 系统。新手建议直接去 Python 官网下载最新稳定版（比如 3.8 或 3.9），安装时务必勾选 “Add Python to PATH”。这是为了让你能在命令行里直接输入 python 命令。

安装后，打开命令行（Windows 是 CMD 或 PowerShell，macOS/Linux 是终端），输入：

BASH

python --version

如果显示类似 Python 3.9.13 的版本号，说明安装成功。如果显示“不是内部或外部命令”，那就是 PATH 没配置好，需要手动添加或重装。

注意：有些教程会推荐 Anaconda，但对于纯爬虫入门，原生 Python 更轻量，问题更少。等你需要管理复杂的数据科学环境时再考虑 Conda。

1.2 必备库安装：用 pip 装对、装全

爬虫最核心的几个库是：requests（发 HTTP 请求）、beautifulsoup4 或 lxml（解析 HTML/XML）、pandas（保存数据到表格）。在命令行里，用 pip 一次性安装：

BASH

pip install requests beautifulsoup4 lxml pandas

安装后，可以写一个几行的测试脚本 test_env.py 来验证：

PYTHON

import requests

from bs4 import BeautifulSoup

import pandas as pd

print("所有库导入成功，环境正常。")

运行 python test_env.py，没报错就说明基础环境 OK。

常见坑点：

网络超时：国内网络访问 PyPI 可能慢，可以临时使用国内镜像源加速，例如 pip install requests -i https://pypi.tuna.tsinghua.edu.cn/simple。
权限错误：在 macOS/Linux 或某些 Windows 环境下，如果提示权限不足，可以尝试在命令前加 sudo（Linux/macOS）或以管理员身份运行命令行（Windows），但更推荐的方法是使用虚拟环境。
版本冲突：如果你之前装过一些包，可能导致新包安装失败。这时可以考虑使用虚拟环境隔离项目，命令是 python -m venv myenv，然后激活它。

1.3 开发工具选择：选一个顺手的编辑器

新手不建议一上来就用 PyCharm 这种重型 IDE，容易在配置上耗费精力。VSCode 或 Sublime Text 是更好的起点。

VSCode：安装 Python 扩展后，直接就能写代码、运行和调试。重点是学会在终端（Terminal）面板里运行命令。
Sublime Text：更轻量，配置简单，写完后在系统命令行里运行即可。

工具的核心作用是写代码和看报错信息，不要花太多时间研究高级功能。

2. 理解爬虫核心流程：四步拆解

爬虫的本质是模拟浏览器访问网页，拿到数据，然后提炼保存。整个过程可以固化成一个通用流程，无论爬什么网站，思路都一样。

2.1 第一步：发送请求（Requests）

这是爬虫的“手”，去网站拿数据。最常用的库是 requests。

PYTHON

import requests

url = "https://httpbin.org/get" # 这是一个用于测试的网站

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'

} # 模拟浏览器身份，避免被简单屏蔽

response = requests.get(url, headers=headers)

print(response.status_code) # 打印状态码，200表示成功

print(response.text[:500]) # 打印返回内容的前500个字符

关键点：

状态码：200 是成功，404 是页面不存在，403/429 通常意味着访问被拒绝或过于频繁。
User-Agent：这是告诉服务器你是什么浏览器。很多网站会屏蔽没有 User-Agent 或使用默认 Python UA 的请求，所以一定要加上一个常见的。
响应内容：response.text 是字符串格式的网页 HTML 代码，response.content 是字节格式（用于下载图片等二进制文件）。

2.2 第二步：解析数据（Beautiful Soup / Lxml）

这是爬虫的“眼睛”，从杂乱的 HTML 中找出你要的信息。BeautifulSoup 对新手更友好。

""" soup = BeautifulSoup(html_doc, 'lxml') # 指定 lxml 作为解析器，需要提前安装 lxml 库 # 1. 通过标签名查找 title = soup.h1.text print(f"标题: {title}") # 2. 通过类名查找所有元素 all_paragraphs = soup.find_all('p', class_='content') for i, p in enumerate(all_paragraphs): print(f"段落{i+1}: {p.text}") # 3. 通过属性查找 link = soup.find('a') print(f"链接地址: {link['href']}") print(f"链接文本: {link.text}")">

PYTHON

from bs4 import BeautifulSoup

# 假设我们有一个简单的 HTML 字符串

html_doc = """

<html>

<body>

<h1>这是一个测试页面</h1>

<p class="content">第一段内容。</p>

<p class="content">第二段内容。</p>

<a href="https://example.com">这是一个链接</a>

</body>

</html>

"""

soup = BeautifulSoup(html_doc, 'lxml') # 指定 lxml 作为解析器，需要提前安装 lxml 库

# 1. 通过标签名查找

title = soup.h1.text

print(f"标题: {title}")

# 2. 通过类名查找所有元素

all_paragraphs = soup.find_all('p', class_='content')

for i, p in enumerate(all_paragraphs):

print(f"段落{i+1}: {p.text}")

# 3. 通过属性查找

link = soup.find('a')

print(f"链接地址: {link['href']}")

print(f"链接文本: {link.text}")

关键点：

选择器：find 找第一个，find_all 找所有。这是最常用的两个方法。
属性访问：标签对象的 .text 获取其内部文本，[‘属性名’] 获取属性值（如 href, src）。
解析器：‘lxml’ 解析速度快，需要单独安装库。‘html.parser’ 是 Python 内置，无需安装但速度慢些。

2.3 第三步：保存数据（Pandas / 文件操作）

这是爬虫的“笔记本”，把提炼出的信息存下来。对于表格数据（列表、字典），pandas 最方便。

PYTHON

import pandas as pd

# 假设我们爬取到了多条数据，放在一个字典列表里

data_list = [

{"标题": "文章A", "链接": "https://example.com/a", "阅读量": 100},

{"标题": "文章B", "链接": "https://example.com/b", "阅读量": 200},

]

# 转换成 DataFrame

df = pd.DataFrame(data_list)

# 保存为 CSV 文件

df.to_csv('articles.csv', index=False, encoding='utf-8-sig') # utf-8-sig 让 Excel 正常打开中文

print("数据已保存到 articles.csv")

# 也可以保存为 Excel

# df.to_excel('articles.xlsx', index=False)

关键点：

数据结构：尽量把数据整理成字典列表，这样转换 DataFrame 最方便。
编码：处理中文时，CSV 文件用 utf-8-sig 编码可以避免 Excel 打开乱码。
增量保存：如果数据量大或需要分批爬，可以考虑先保存到列表，最后再统一写入文件，或者使用追加模式（mode=’a’）。

2.4 第四步：处理反爬与异常

这是爬虫的“生存技巧”。没有任何网站欢迎无节制的爬取，所以必须遵守规则并处理异常。

PYTHON

import requests

import time

from requests.exceptions import RequestException

url = "https://example.com/some-page"

headers = {'User-Agent': '你的浏览器UA'}

try:

# 添加请求超时设置，避免程序卡死

response = requests.get(url, headers=headers, timeout=10)

response.raise_for_status() # 如果状态码不是200，会抛出HTTPError异常

# 正常处理数据...

except requests.exceptions.Timeout:

print("请求超时，可能是网络问题或服务器响应慢。")

except requests.exceptions.HTTPError as e:

print(f"HTTP错误，状态码: {e.response.status_code}")

except RequestException as e:

print(f"请求发生错误: {e}")

else:

print("请求成功！")

finally:

# 无论成功与否，都可以执行一些清理或延迟操作

time.sleep(2) # 礼貌性延迟，避免请求过于频繁

关键策略：

延迟：在循环请求间使用 time.sleep(1) 或随机睡眠，是最基本的道德和防封手段。
超时：一定要设置 timeout 参数，比如 10 秒。
异常捕获：用 try…except 包裹请求代码，程序才不会因为一个页面出错就崩溃。
检查 Robots.txt：在爬取前，访问 网站域名/robots.txt，了解网站允许和禁止爬取的目录。

3. 实战案例：爬取一个静态网页信息

我们找一个结构清晰、无反爬的公开信息页面做练习，比如“电影票房排行榜”的模拟页面。目标是爬取电影名和票房数据。

3.1 目标分析与 HTML 结构查看

在浏览器（如 Chrome）中打开目标页面，按 F12 打开开发者工具。

点击左上角的箭头图标（或按 Ctrl+Shift+C），然后去点击页面上你想爬取的数据。
在右侧的 “Elements” 面板中，你会看到对应的 HTML 代码被高亮显示。
分析结构：找到包裹每条数据的重复性标签，以及包含具体信息的子标签和类名。

假设我们分析出结构如下（这是简化示例）：

HTML

</div>

</div>

关键点：每条数据都在一个 class=”movie-item” 的 div 里，电影名在 class=”name” 的 span 里，票房在 class=”box-office” 的 span 里。

3.2 编写爬虫代码

根据分析，写出完整代码：

PYTHON

import requests

from bs4 import BeautifulSoup

import pandas as pd

import time

# 1. 定义目标URL和请求头

url = "https://你的模拟票房网站.com" # 请替换为实际可访问的练习地址

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'

}

# 2. 发送请求

print("正在发送请求...")

try:

response = requests.get(url, headers=headers, timeout=10)

response.raise_for_status()

response.encoding = response.apparent_encoding # 自动识别编码

except Exception as e:

print(f"请求失败: {e}")

exit()

# 3. 解析数据

soup = BeautifulSoup(response.text, 'lxml')

movie_list = []

# 找到所有包含单条电影的容器

movie_items = soup.find_all('div', class_='movie-item')

for item in movie_items:

# 在每个容器内查找具体的电影名和票房元素

name_tag = item.find('span', class_='name')

box_office_tag = item.find('span', class_='box-office')

# 确保找到了元素再提取文本，避免因页面结构微调导致报错

name = name_tag.text.strip() if name_tag else "N/A"

box_office = box_office_tag.text.strip() if box_office_tag else "N/A"

movie_list.append({

"电影名": name,

"票房": box_office

})

# 打印进度

print(f"已提取: {name} - {box_office}")

# 4. 保存数据

if movie_list:

df = pd.DataFrame(movie_list)

df.to_csv('movie_box_office.csv', index=False, encoding='utf-8-sig')

print(f"\n成功爬取 {len(movie_list)} 条数据，已保存至 movie_box_office.csv")

else:

print("\n未找到任何数据，请检查网页结构或选择器。")

# 5. 礼貌延迟

time.sleep(2)

3.3 运行与调试

将代码保存为 movie_spider.py。
在命令行中，切换到文件所在目录，运行 python movie_spider.py。
观察输出：是否打印出“已提取”的信息？终端有无报错？
检查生成的 movie_box_office.csv 文件，用 Excel 或文本编辑器打开，看数据是否正确。

调试技巧：

打印中间结果：如果 movie_list 为空，可以在 find_all 之后打印 len(movie_items)，看看是否找到了容器。如果为0，说明选择器 class_=’movie-item’ 不对，需要重新检查网页实际 HTML。
查看响应内容：可以将 response.text 的一部分保存到本地文件，方便仔细查看结构。
使用更宽松的选择器：如果类名是动态生成的，可以尝试用标签组合，如 soup.find_all(‘div’, {‘class’: ‘movie-item’})，或者用 soup.select(‘.movie-list .movie-item’)（CSS 选择器）。

4. 进阶与常见问题排查

当你能爬取静态页面后，会遇到更真实的问题。这里列出几个典型场景和解决思路。

4.1 动态加载数据（Ajax）如何处理？

很多现代网站（如电商、社交媒体）的数据是通过 JavaScript 动态加载的，直接 requests.get 拿到的 HTML 里没有数据。这时有两条路：

寻找隐藏的 API 接口：在浏览器开发者工具的 Network（网络） 面板中，刷新页面，筛选 XHR/Fetch 请求，找到真正返回数据的请求（通常是 JSON 格式）。然后直接用 requests 模拟这个请求，往往更简单高效。
使用 Selenium 或 Playwright：这类工具可以控制一个真实的浏览器，能执行 JavaScript 并渲染出完整页面。适合页面逻辑极其复杂、接口难以模拟的情况。但代价是速度慢、资源占用高。

PYTHON

# 方法1示例：模拟Ajax请求（假设找到接口返回JSON）

import requests

import json

api_url = "https://网站.com/api/data"

params = {"page": 1, "size": 20}

headers = {"User-Agent": "..."}

resp = requests.get(api_url, params=params, headers=headers)

data = resp.json() # 直接解析为Python字典/列表

# 然后从data中提取信息

4.2 遇到登录或 Cookie 怎么办？

有些数据需要登录后才能查看。思路是：

先用浏览器手动登录。
在开发者工具的 Network 面板中，找到一个登录后的请求，查看其 Request Headers，复制里面的 Cookie 字段。
在你的爬虫代码的 headers 字典里，加上这个 Cookie。

PYTHON

headers = {

'User-Agent': '...',

'Cookie': '你复制的很长一串cookie值'

}

response = requests.get(protected_url, headers=headers)

注意：Cookie 会过期。更自动化的方式是使用 requests.Session() 对象来模拟登录 POST 请求，维持会话状态。

4.3 请求被限制（封 IP、验证码）怎么办？

这是最棘手的反爬措施。

封 IP：表现为连续请求后突然获取不到数据或返回 403。解决方案：
- 降低频率：大幅增加 time.sleep() 的间隔，或使用随机间隔。
- 使用代理 IP：通过代理池轮换 IP。但公开免费代理大多不稳定，需要自行筛选或使用付费服务。
验证码：遇到验证码，对于入门者，最现实的方案是绕过——寻找无需验证码的接口，或者降低请求频率避免触发。识别验证码（打码）需要额外的技术或服务，复杂度陡增。

基本原则：对于个人学习和小规模数据采集，务必保持礼貌爬取（间隔长、频率低），并尊重网站的 robots.txt 规则。不要对目标网站造成压力。

4.4 数据解析出错（标签找不到）？

这是最常见的问题，原因和排查顺序如下：

请求失败：首先确认 response.status_code 是 200，并且 response.text 包含有效内容。
编码问题：中文网页可能出现乱码，尝试设置 response.encoding = ‘utf-8’ 或 ’gbk’，或使用 response.apparent_encoding。
页面结构已更新：网站改版了，你之前写的选择器失效了。重新用开发者工具分析新的 HTML 结构。
数据是动态加载的：参考 4.1 节，数据可能不在初始 HTML 中。
选择器写得太“死”：不要依赖过于精确或可能变化的类名。尝试使用更通用的路径，或使用 soup.select() 支持的部分匹配。

4.5 如何爬取图片、PDF 等文件？

这类文件是二进制数据，要用 response.content 保存。

PYTHON

img_url = "https://example.com/image.jpg"

response = requests.get(img_url, stream=True) # stream=True 用于大文件

if response.status_code == 200:

with open('downloaded_image.jpg', 'wb') as f: # 以二进制写入模式打开文件

f.write(response.content)

print("图片下载成功")

5. 从脚本到项目：代码组织与优化

当爬虫代码超过 100 行，或者需要定期运行时，就需要更好的组织。

5.1 函数化与模块化

将不同功能的代码块封装成函数，提高可读性和复用性。

PYTHON

def fetch_page(url, headers):

"""发送请求并返回响应文本，处理异常"""

try:

resp = requests.get(url, headers=headers, timeout=10)

resp.raise_for_status()

resp.encoding = resp.apparent_encoding

return resp.text

except Exception as e:

print(f"抓取 {url} 失败: {e}")

return None

def parse_html(html):

"""解析HTML，提取数据列表"""

if not html:

return []

soup = BeautifulSoup(html, 'lxml')

data_list = []

# ... 具体的解析逻辑

return data_list

def save_data(data_list, filename):

"""保存数据到CSV"""

if data_list:

df = pd.DataFrame(data_list)

df.to_csv(filename, index=False, encoding='utf-8-sig')

print(f"数据已保存至 {filename}")

else:

print("无数据可保存。")

# 主程序逻辑

if __name__ == '__main__':

url = "..."

headers = {...}

html = fetch_page(url, headers)

if html:

data = parse_html(html)

save_data(data, 'output.csv')

5.2 配置与常量分离

将 URL、请求头、文件路径等配置项放在代码开头或单独的配置文件中。

PYTHON

# 配置文件 config.py

BASE_URL = "https://example.com/api"

HEADERS = {

'User-Agent': 'Mozilla/5.0...',

'Referer': 'https://example.com/'

}

OUTPUT_DIR = './data'

# 主程序 main.py

import config

url = config.BASE_URL + "/list"

headers = config.HEADERS

5.3 添加日志记录

使用 Python 内置的 logging 模块替代 print，可以方便地控制输出级别（调试、信息、错误）并记录到文件。

PYTHON

import logging

logging.basicConfig(level=logging.INFO,

format='%(asctime)s - %(levelname)s - %(message)s',

handlers=[logging.FileHandler('spider.log'), logging.StreamHandler()])

logger = logging.getLogger(__name__)

logger.info("开始爬取任务...")

try:

# 爬取逻辑

logger.info("成功爬取到XX条数据")

except Exception as e:

logger.error(f"爬取过程中发生错误: {e}")

5.4 定时运行与部署

对于需要定期执行的爬虫，可以：

Windows：使用“任务计划程序”。
macOS/Linux：使用 cron 定时任务。
云服务器：在服务器上配置 cron，并确保程序能在无图形界面的环境下运行（处理好路径、依赖等问题）。

爬虫的核心逻辑就是“请求-解析-保存”，所有复杂的教程都是在这个骨架上添加血肉。我建议的学习路径是：先用最简单的方式把流程跑通，再逐步去解决遇到的具体问题（动态加载、登录、反爬）。不要一开始就追求大而全的“终极教程”，而是针对一个具体的小目标，动手写，跑起来，遇到错误就搜索错误信息去解决。这个过程积累的经验，远比看十个视频更有用。