七天掌握Python爬虫与数据分析：从环境搭建到可视化实战

Python爬虫数据分析

于 2026-08-29 03:59:48 修改

·本内容遵循CC 4.0 BY-SA版权协议

先放下“一个月精通 Python”的幻想，也不要去收藏夹里吃灰。真正能把 Python 用于爬虫和数据分析的人，靠的不是资料多，而是有一条清晰的主线，以及跟着主线把所有环节跑通的动手量。这篇文章就围绕“七天从入门到能做爬虫 + 数据分析”的目标，把环境搭建、基础语法、requests 爬虫、pandas 清洗分析、可视化呈现这条链路完整拆开。新手照着走能落地，有基础的开发者也可以直接跳到爬虫与数据分析的实战部分查阅。

1. 为什么 Python 是入门爬虫与数据分析的首选

1.1 爬虫和数据分析的核心流程

很多人会把“爬虫”和“数据分析”当成两个独立方向，实际上在真实项目中它们是一条流水线。整个链条可以拆成下面几步：

明确数据需求：要抓什么网站、什么字段、什么时间范围。
获取数据：通过 HTTP 请求向目标服务器发送请求，拿到 HTML、JSON 或其它格式的响应内容。
解析提取：从响应内容中提取目标字段，例如商品名称、价格、评论数、发布时间等。
清洗处理：去掉重复数据、处理缺失值、统一日期格式、转换数据类型。
分析洞察：基于清洗后的数据做统计、分组、排序、计算占比等操作。
可视化呈现：用图表把分析结果直观展示出来。

Python 之所以在这个链条里受欢迎，是因为它的语法接近自然语言，学习成本低，而且生态里几乎每个环节都有成熟库。请求用 requests，解析用 BeautifulSoup、lxml 或正则表达式，数据清洗与分析用 pandas，可视化用 matplotlib 或 pyecharts。整个流程不需要切换多种语言，一条 Python 脚本就能串起来。

1.2 零基础入门需要建立的三个认知

第一个认知是“先跑通，再深入”。很多初学者喜欢把基础语法全部看完再动手，结果看到函数、类、装饰器就放弃了。更有效的做法是掌握最核心的变量、循环、条件判断、函数和文件操作，然后立刻去做一个最简单的爬虫，边做边补知识。

第二个认知是“报错是正常的”。Python 的报错信息其实非常友好，它会告诉你哪一行出错、是什么类型的错误。NameError 说明变量没定义，IndexError 说明下标越界，KeyError 说明字典里没有这个键。学会读报错信息，比背语法重要得多。

第三个认知是“爬虫和数据分析的重点在数据，而不在代码炫技”。代码只是工具，最终要回答的是业务问题，例如“哪个品类的商品评价最多”“哪个月份的销量最高”“哪些关键词出现频率最高”。初学者在设计学习计划时，要多想“我要用数据回答什么问题”，而不是“我要学多少库”。

2. 环境准备：Python 安装与开发工具配置

2.1 Python 安装与环境变量

在学习任何代码之前，先把 Python 解释器装好。以 Windows 系统为例，去 Python 官网下载对应系统的安装包，安装时务必勾选“Add Python to PATH”选项。这一步非常关键，勾选后才能直接在命令行中使用 python 命令。

安装完成后，打开命令行工具，输入以下命令验证环境：

BASH

python --version

如果输出类似 Python 3.12.x 的信息，说明安装成功。如果提示“python 不是内部或外部命令”，说明 PATH 没有配置好，需要手动把 Python 安装目录添加到系统环境变量中。

macOS 和 Linux 系统通常自带 Python，但版本可能偏旧。建议使用 Homebrew 或 apt 安装较新的 Python 3 版本，也可以用 pyenv 管理多版本 Python，方便在不同项目间切换。

2.2 开发工具：VSCode 与 Jupyter Notebook 的选择

写 Python 代码的工具很多，对新手来说最推荐 VSCode 和 Jupyter Notebook 搭配使用。

VSCode 是轻量级编辑器，安装 Python 扩展后，就能获得代码补全、语法检查、调试等功能。适合编写结构化的 .py 脚本，例如爬虫程序、数据处理脚本、自动化工具。

Jupyter Notebook 则更适合做数据探索和可视化分析。它允许把代码、运行结果、图表、文字说明放在同一个文档里，非常适合数据分析场景。你可以先在一个单元格里查看数据形状，再在下一个单元格里做清洗，每一步的输入输出都一目了然。

在 VSCode 中新建终端，执行以下命令安装 Jupyter：

BASH

pip install jupyter

安装完成后启动：

BASH

jupyter notebook

浏览器会自动打开 Notebook 页面，新建一个 Python 3 内核的 notebook 就可以开始写代码了。

2.3 虚拟环境与依赖管理

随着项目越来越多，不同项目可能依赖不同版本的第三方库，这时候就需要虚拟环境来隔离依赖。Python 3.3 以上版本内置了 venv 模块，使用方式如下：

BASH

# 创建虚拟环境

python -m venv venv

# Windows 激活虚拟环境

venv\Scripts\activate

# macOS / Linux 激活虚拟环境

source venv/bin/activate

激活后，命令行前面会出现 (venv) 标识，此时用 pip 安装的包都会进入当前虚拟环境，不会污染全局 Python。

对于爬虫和数据分析项目，建议创建一个 requirements.txt 文件记录依赖，方便别人复现环境：

BASH

pip freeze > requirements.txt

后续在新环境中安装依赖：

BASH

pip install -r requirements.txt

3. Python 基础语法精讲：七天入门阶段必须掌握的内容

3.1 变量与基础数据类型

Python 是动态类型语言，声明变量时不需要指定类型。变量名要见名知意，推荐使用小写字母加下划线的命名风格。

PYTHON

# 变量与类型

name = "Python爬虫" # 字符串

page_size = 20 # 整数

price = 99.9 # 浮点数

is_valid = True # 布尔值

tags = ["爬虫", "数据", "分析"] # 列表

user_info = {"name": "小明", "age": 18} # 字典

print(type(name)) # <class 'str'>

print(type(page_size)) # <class 'int'>

列表和字典是爬虫与数据分析中最常用的两种数据结构。列表用于存储有序的数据集合，例如一组商品价格；字典用于存储键值对，例如单个商品的多个属性。

3.2 流程控制与循环

条件判断和循环是几乎所有程序的基础逻辑。爬虫中经常需要判断请求是否成功，如果失败则重试，这就是条件判断和循环的结合场景。

PYTHON

# 条件判断

status_code = 200

if status_code == 200:

print("请求成功")

elif status_code == 404:

print("页面不存在")

else:

print("其他状态码")

# for 循环遍历列表

prices = [19.9, 29.9, 39.9]

for price in prices:

print(f"商品价格: {price}")

# while 循环重试场景

retry_count = 0

while retry_count < 3:

print(f"第 {retry_count + 1} 次尝试")

retry_count += 1

f-string 是 Python 3.6 之后推荐的字符串格式化方式，在大括号中可以直接引用变量，写法简洁直观。

3.3 函数与模块化思维

函数的作用是把一段重复使用的逻辑封装起来，避免代码冗余。爬虫项目中，请求、解析、保存数据这些步骤都应该封装成函数，每个函数只做一件事。

PYTHON

def fetch_page(url):

"""发送请求并返回响应文本"""

import requests

response = requests.get(url)

response.encoding = "utf-8"

return response.text

def parse_price(html):

"""从HTML中解析商品价格"""

# 这里暂时用占位逻辑

return "99.00"

def save_data(data, filepath):

"""保存数据到文件"""

with open(filepath, "w", encoding="utf-8") as f:

f.write(data)

# 调用

html = fetch_page("https://example.com")

price = parse_price(html)

save_data(price, "price.txt")

模块化带来的好处是：如果请求逻辑需要调整，只需要修改 fetch_page 函数；如果解析规则变了，只需要修改 parse_price 函数。排查问题时定位更准确。

3.4 文件读写与异常处理

数据抓取之后最终要落到本地文件或数据库中，文件读写是必不可少的一环。Python 的 open 函数搭配 with 语句使用，可以自动管理文件关闭，避免资源泄漏。

PYTHON

# 写入文件

with open("data.csv", "w", encoding="utf-8") as f:

f.write("商品,价格\n")

f.write("Python入门教程,99.00\n")

# 读取文件

with open("data.csv", "r", encoding="utf-8") as f:

content = f.read()

print(content)

在爬虫场景中，网络请求可能因为超时、连接中断等原因失败，所以必须做异常处理。使用 try-except 捕获异常，避免程序因为单个请求失败而中断。

PYTHON

import requests

from requests.exceptions import RequestException

try:

response = requests.get("https://example.com", timeout=10)

response.raise_for_status()

except RequestException as e:

print(f"请求失败: {e}")

else:

print("请求成功")

timeout 参数用于设置超时时间，raise_for_status() 会在状态码为 4xx 或 5xx 时抛出异常，这两点是爬虫健壮性的基础。

4. 爬虫实战：从 requests 请求到数据落地

4.1 批量型爬虫、增量型爬虫与垂直型爬虫的应用场景

在写爬虫代码之前，先搞清楚不同爬虫类型的应用场景，避免一上来就写出一个性能很差或不合规的脚本。

批量型爬虫是指一次性把目标站点的数据全部抓取下来。适合数据量不大、抓取频率低、数据更新不频繁的场景，例如抓取某个静态页面的历史文章列表。

增量型爬虫是指只抓取从上一次抓取之后新增的数据。适合数据频繁更新的场景，例如抓取新闻站点每日新发布的文章、电商平台每日价格变动。实现增量爬虫的关键是记录“上次抓取的游标”，可以是时间戳、页码或 ID。每次抓取前先取出游标，抓取后更新游标。

垂直型爬虫是指针对特定领域或特定网站定制的爬虫，只关注该领域的数据结构。例如只抓取招聘网站的职位信息、只抓取房产网站的房源信息。垂直型爬虫的解析规则通常高度定制，需要根据目标网站的页面结构编写针对性的选择器。

对初学者来说，先掌握批量型爬虫，再在项目中逐步加入增量逻辑。

4.2 创建项目结构与安装依赖

下面通过一个完整案例来演示爬虫开发的全过程。目标是从一个虚构的新闻列表页抓取文章标题、链接和发布时间，把数据保存为 CSV 文件。

首先创建项目结构：

TEXT

scraper_demo/

├── scraper.py # 爬虫主脚本

├── requirements.txt # 依赖文件

└── output/

└── articles.csv # 输出文件

在 requirements.txt 中写入依赖：

TEXT

requests>=2.31.0

beautifulsoup4>=4.12.0

pandas>=2.0.0

安装依赖：

BASH

pip install -r requirements.txt

4.3 用 requests 发送请求并解析 HTML

requests 库是 Python 最常用的 HTTP 请求库。它封装了连接、会话、Cookie、代理等功能，使用起来非常简洁。

下面编写核心代码：

PYTHON

# 文件路径：scraper_demo/scraper.py

import requests

from bs4 import BeautifulSoup

import pandas as pd

import time

# 目标URL，实际使用时请替换为合法可抓取的站点

BASE_URL = "https://example.com/news"

def fetch_page(url):

"""发送GET请求，返回BeautifulSoup对象"""

headers = {

"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"

}

try:

response = requests.get(url, headers=headers, timeout=10)

response.raise_for_status()

response.encoding = "utf-8"

return BeautifulSoup(response.text, "html.parser")

except requests.RequestException as e:

print(f"请求失败: {e}")

return None

def parse_articles(soup):

"""从BeautifulSoup对象中提取文章数据"""

articles = []

# 假设文章列表都在 class 为 article-item 的 div 中

items = soup.select(".article-item")

for item in items:

title_tag = item.select_one(".title")

link_tag = item.select_one("a")

date_tag = item.select_one(".date")

if title_tag and link_tag:

articles.append({

"title": title_tag.get_text(strip=True),

"link": link_tag.get("href"),

"publish_date": date_tag.get_text(strip=True) if date_tag else ""

})

return articles

def main():

soup = fetch_page(BASE_URL)

if soup is None:

print("页面获取失败，程序退出")

return

articles = parse_articles(soup)

if not articles:

print("未解析到任何文章")

return

df = pd.DataFrame(articles)

df.to_csv("output/articles.csv", index=False, encoding="utf-8-sig")

print(f"成功保存 {len(articles)} 条数据到 output/articles.csv")

if __name__ == "__main__":

main()

代码说明：

fetch_page 函数负责发送请求并返回 BeautifulSoup 对象，headers 中的 User-Agent 用于模拟浏览器请求，降低被服务器拒绝的概率。
parse_articles 函数使用 CSS 选择器提取目标元素。select_one 用于获取第一个匹配元素，select 用于获取所有匹配元素。get_text(strip=True) 会去掉文本两端的空白字符。
main 函数把请求、解析、保存三个步骤串联起来。CSV 编码使用 utf-8-sig，这样用 Excel 打开时中文不会乱码。

4.4 运行与验证

在项目根目录执行：

BASH

python scraper.py

如果一切正常，会输出类似下面的信息：

TEXT

成功保存 12 条数据到 output/articles.csv

打开 output/articles.csv，可以看到类似如下的内容：

title	link	publish_date
Python 爬虫入门指南	https://example.com/news/1	2026-01-10
数据分析实战案例	https://example.com/news/2	2026-01-09

如果页面结构不同，只需要修改 parse_articles 函数中的选择器即可，其它代码不需要变动。

4.5 分页抓取的实现思路

实际网站的数据往往分布在多个页面上。分页抓取的常见实现方式是找到下一页的 URL 规律，然后循环请求。

假设第二页 URL 是 https://example.com/news?page=2，第三页是 ?page=3，那么可以用循环来抓取：

PYTHON

def fetch_all_pages(total_pages):

all_articles = []

for page in range(1, total_pages + 1):

url = f"{BASE_URL}?page={page}"

soup = fetch_page(url)

if soup:

articles = parse_articles(soup)

all_articles.extend(articles)

print(f"第 {page} 页抓取到 {len(articles)} 条数据")

time.sleep(1) # 控制请求频率，避免对服务器造成压力

return all_articles

time.sleep(1) 表示每抓取一页后暂停 1 秒，这是爬虫的基本礼仪，也能有效降低被封 IP 的风险。

5. 数据分析实战：用 pandas 完成清洗与分析

5.1 读取数据与数据概览

爬虫抓到的数据通常是 CSV 文件，pandas 的 read_csv 函数可以把它读入 DataFrame。DataFrame 是 pandas 的核心数据结构，可以理解为一张二维表格。

PYTHON

import pandas as pd

# 读取爬虫抓取的CSV文件

df = pd.read_csv("output/articles.csv", encoding="utf-8-sig")

# 查看前5行

print(df.head())

# 查看数据形状

print(df.shape) # (12, 3)

# 查看列名和数据类型

print(df.dtypes)

# 查看数据统计信息

print(df.describe())

如果列名是中文，需要注意编码。上面写入时用了 utf-8-sig，读取时也要用相同编码。

5.2 数据清洗：处理缺失值与重复值

真实数据几乎不会干干净净，常见问题包括缺失值、重复值、格式不一致、异常值。pandas 提供了丰富的方法来处理这些问题。

先看一个包含了多种“脏数据”的示例 DataFrame：

PYTHON

import pandas as pd

import numpy as np

data = {

"商品": ["Python入门", "数据分析实战", "爬虫进阶", "Python入门", None],

"价格": [99.0, 129.0, np.nan, 99.0, 199.0],

"销量": [120, 80, 45, 120, "未知"],

}

df = pd.DataFrame(data)

print(df)

数据中存在三个问题：

“商品”列有缺失值（None）。
“价格”列有缺失值（NaN）。
“销量”列有字符串“未知”，类型不一致。

处理方式如下：

PYTHON

# 1. 删除商品列缺失的行

df = df.dropna(subset=["商品"])

# 2. 用均值填充价格缺失值

df["价格"] = df["价格"].fillna(df["价格"].mean())

# 3. 把“未知”转换为NaN，再填充为指定值

df["销量"] = pd.to_numeric(df["销量"], errors="coerce")

df["销量"] = df["销量"].fillna(0).astype(int)

# 4. 去除完全重复的行

df = df.drop_duplicates()

print(df)

dropna 用于删除缺失值所在的行或列，fillna 用于填充缺失值，pd.to_numeric 可以把字符串列转为数值列，errors="coerce" 表示无法转换的变成 NaN。drop_duplicates 默认保留第一次出现的行。

5.3 分组聚合与排序

数据清洗完成后，就可以开始分析了。电商场景中常见的需求是统计每个类目的平均价格、总销量和商品数量。

PYTHON

# 创建示例数据

df = pd.DataFrame({

"商品": ["Python入门", "数据分析", "爬虫实战", "Django开发"],

"类目": ["编程", "数据", "编程", "后端"],

"价格": [99, 129, 88, 159],

"销量": [120, 80, 200, 45],

})

# 按类目分组统计

result = df.groupby("类目").agg(

商品数量=("商品", "count"),

平均价格=("价格", "mean"),

总销量=("销量", "sum")

).reset_index()

# 按总销量降序排列

result = result.sort_values("总销量", ascending=False)

print(result)

groupby 是 pandas 中最强大的操作之一。agg 方法接收一个字典或元组列表，用于指定对不同列执行不同的聚合函数。reset_index 可以把分组后的索引转回普通列，方便后续处理。

输出结果：

TEXT

类目商品数量平均价格总销量

0 编程 2 93.5 320

1 后端 1 159.0 45

2 数据 1 129.0 80

5.4 数据可视化：用 matplotlib 展示分析结果

数据可视化是数据分析的“最后一公里”。pandas 本身不提供画图功能，但它的 plot 方法会调用 matplotlib 来渲染图表。先安装依赖：

BASH

pip install matplotlib

推荐使用 matplotlib 的面向对象接口来画图，可控性更强。

PYTHON

import matplotlib.pyplot as plt

# 设置中文字体，避免图表乱码

plt.rcParams["font.sans-serif"] = ["SimHei", "Microsoft YaHei"]

plt.rcParams["axes.unicode_minus"] = False

# 使用上面的 result 数据

categories = result["类目"]

total_sales = result["总销量"]

# 创建画布

fig, ax = plt.subplots(figsize=(8, 5))

# 绘制柱状图

bars = ax.bar(categories, total_sales, color=["#4C72B0", "#55A868", "#C44E52"])

# 在柱子上方显示数据标签

for bar in bars:

height = bar.get_height()

ax.annotate(f"{height}",

xy=(bar.get_x() + bar.get_width() / 2, height),

xytext=(0, 3),

textcoords="offset points",

ha="center", va="bottom")

ax.set_title("不同类目商品总销量对比")

ax.set_xlabel("类目")

ax.set_ylabel("总销量")

ax.spines["top"].set_visible(False)

ax.spines["right"].set_visible(False)

plt.tight_layout()

plt.savefig("output/sales_chart.png", dpi=150)

plt.show()

如果图表中的中文无法正常显示，需要根据操作系统的字体情况调整 font.sans-serif 配置。在 Windows 上通常设置为 SimHei 或 Microsoft YaHei，在 macOS 上可设置为 PingFang SC 或 Arial Unicode MS。

6. 常见问题与排查思路

问题现象	常见原因	解决思路
pip 安装包时提示“Connection timed out”	网络连接不稳定或下载源访问慢	切换为国内镜像源，例如清华、阿里云镜像
请求返回 403 或 418	目标服务器识别出是爬虫请求	添加 User-Agent、Referer 等请求头，降低请求频率
中文数据显示为乱码	编码不一致	统一使用 utf-8 或根据网页 meta 标签指定编码
CSV 文件用 Excel 打开时中文乱码	写入编码用了 utf-8	使用 encoding="utf-8-sig"
页面结构变化导致解析不到数据	目标网站改版、class 名称变化	重新检查网页源代码，更新选择器
ModuleNotFoundError: No module named 'pandas'	虚拟环境未激活或未安装依赖	激活虚拟环境后执行 pip install pandas
DataFrame 中列名有空格	原始数据表头不规范	使用 df.columns = df.columns.str.strip() 清理
正则表达式提取不到内容	正则匹配规则错误或贪婪匹配	先用小范围文本测试正则，使用非贪婪匹配 `.*?`

这里单独说一下 pip 镜像源的配置方法：

BASH

pip install requests -i https://pypi.tuna.tsinghua.edu.cn/simple

也可以把镜像源写入 pip 配置文件，这样每次安装都默认使用镜像源：

BASH

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

7. 最佳实践与工程建议

7.1 爬虫合法性与道德边界

学习爬虫一定要建立合规意识。爬取数据前，先检查目标网站的 robots.txt 文件（例如 https://example.com/robots.txt），了解哪些路径允许爬取。同时查看网站的条款，避免抓取涉及个人隐私、版权保护或商业机密的数据。抓取频率要克制，建议在请求之间加入随机延时，不要对服务器造成压力。存储数据时，涉及个人信息的数据要脱敏处理，不要公开传播。

特别是电商、招聘、社交类平台，数据往往受版权保护，未经授权的大规模爬取可能带来法律风险。初学者练习时，建议选择公开的、允许爬取的站点，或者使用本地生成的模拟数据。

7.2 代码组织与依赖管理

爬虫脚本如果只有几十行，放在一个文件里问题不大。但真实项目往往包含请求模块、解析模块、存储模块、调度模块，这时建议按功能拆分目录：

TEXT

project/

├── spiders/ # 爬虫逻辑

│ ├── __init__.py

│ ├── base.py # 基础请求类

│ └── news.py # 新闻爬虫

├── parsers/ # 解析逻辑

│ ├── __init__.py

│ └── news_parser.py

├── storage/ # 存储逻辑

│ ├── __init__.py

│ └── csv_writer.py

├── utils/ # 工具函数

│ └── date_utils.py

├── config.py # 全局配置

└── requirements.txt

每个模块职责单一，方便测试和维护。第三方依赖必须通过 requirements.txt 管理，不要依赖全局环境。

7.3 异常处理与日志记录

爬虫程序在无人值守的情况下运行，异常处理尤其重要。建议为代码添加日志记录，而不是只使用 print 输出。

PYTHON

import logging

logging.basicConfig(

level=logging.INFO,

format="%(asctime)s - %(levelname)s - %(message)s",

handlers=[

logging.FileHandler("scraper.log", encoding="utf-8"),

logging.StreamHandler()

]

)

logger = logging.getLogger(__name__)

# 在关键位置使用

logger.info("开始抓取第 1 页")

logger.error("请求失败，重试中")

日志文件可以记录每次运行的详细情况，方便事后排查。重要节点加上 INFO 日志，异常情况加上 ERROR 日志。

7.4 数据分析可视化选题建议

对于初学者，建议选择自己感兴趣的垂直领域做项目。比如“某电商平台热销商品分析”“招聘网站的岗位技能需求分析”“天气数据的季节趋势分析”“B站视频标题关键词分析”。这些项目的核心逻辑都是一样的：确定数据源、写爬虫抓取、用 pandas 清洗、用 matplotlib 可视化。

7.5 七天学习路线规划

最后给出一份可执行的七天学习路线，供大家参考：

天数	学习内容	实践任务
第1天	Python 安装、VSCode 配置、变量与数据类型	写一个计算 BMI 的小程序
第2天	条件判断、循环、列表与字典	编写一个学生成绩统计脚本
第3天	函数、文件读写、异常处理	把成绩统计结果保存为 CSV
第4天	requests 与 BeautifulSoup 基础	抓取一个简单页面的标题和链接
第5天	分页抓取、数据保存与请求头伪装	抓取多页数据并保存到 CSV
第6天	pandas 数据清洗与分组聚合	对抓取的数据做去重、补全、统计
第7天	matplotlib 可视化与项目整合	完成一个小型数据分析报告

按照这个节奏，一周后你就能完整跑通“爬虫 + 数据分析”这条链路。接下来可以进一步学习 Scrapy 框架、selenium 动态渲染页面抓取、pandas 高级数据处理、SQL 数据库存储等内容。如果想深入学习，建议先把 pandas 的文档通读一遍，再做两到三个完整项目，遇到问题再回头补基础，效率远比反复看教程要高。