Flask+Requests+Pandas构建猫眼电影数据分析系统实战

Python数据分析FlaskPandas

于 2026-07-07 15:19:48 修改

·本内容遵循CC 4.0 BY-SA版权协议

1. 先搞清楚这个项目到底能帮你解决什么实际问题

如果你正在学习Python数据分析，或者想找一个完整的实战项目来练手，这个Flask+requests+Pandas的猫眼电影数据分析系统值得重点关注。它最大的价值不是单个技术点的演示，而是把数据采集、清洗、分析、存储到可视化展示的完整链路串起来了。

很多人在学完Pandas或Flask后，最大的困惑就是不知道如何把这些技术组合成一个实际可用的系统。这个项目正好填补了这个空白：它教你如何从猫眼电影网站抓取真实数据，用Pandas进行清洗分析，最后通过Flask搭建一个带图表展示的Web应用。

我建议先关注这几个核心能力点：

数据采集：如何用requests库稳定抓取猫眼电影列表和详情页数据
数据清洗：Pandas处理真实数据时的常见问题和解法
可视化集成：Flask如何与ECharts配合实现动态图表
工程化思维：从单脚本到完整Web系统的代码组织方式

2. 环境准备：别在配置环节卡住

开始前需要确保你的开发环境满足基本要求。我一般会先检查这几个点：

2.1 基础环境要求

Python 3.7+（推荐3.8或3.9，兼容性更好）
MySQL 5.7+或8.0（数据库版本影响不大，但要注意认证方式）
操作系统：Windows/macOS/Linux都可以，但路径处理稍有差异

2.2 核心依赖库版本

BASH

# 主要依赖

Flask==2.3.3

requests==2.31.0

pandas==2.0.3

pymysql==1.1.0

beautifulsoup4==4.12.2

echarts==1.0.0

# 辅助库

sqlalchemy==2.0.20

numpy==1.24.3

安装时最容易出问题的是环境冲突。如果你用Anaconda，建议创建独立环境：

BASH

conda create -n movie_analysis python=3.9

conda activate movie_analysis

pip install -r requirements.txt

如果遇到ModuleNotFoundError: No module named 'requests'这类错误，先检查虚拟环境是否激活，再确认pip list里是否有对应包。

3. 数据采集：从单页抓取到批量爬虫的稳妥路径

猫眼电影网站有反爬机制，直接暴力抓取很容易触发429错误（Too Many Requests）。根据实测经验，我建议按这个顺序来：

3.1 先搞定单页请求

PYTHON

import requests

from bs4 import BeautifulSoup

import time

import random

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',

'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'

}

def get_single_page(url):

try:

# 添加随机延迟，避免请求过快

time.sleep(random.uniform(1, 3))

response = requests.get(url, headers=headers, timeout=10)

if response.status_code == 200:

return response.text

else:

print(f"请求失败，状态码：{response.status_code}")

return None

except Exception as e:

print(f"请求异常：{e}")

return None

关键点在于：

User-Agent要模拟真实浏览器
每次请求间隔1-3秒，不要连续快速请求
设置超时时间，避免卡死
做好异常处理，记录失败原因

3.2 解析页面数据的稳妥方法

PYTHON

def parse_movie_list(html):

soup = BeautifulSoup(html, 'html.parser')

movies = []

# 猫眼电影列表的选择器可能会变，需要随时调整

items = soup.select('.movie-item')

for item in items:

try:

name = item.select_one('.movie-name').text.strip()

score = item.select_one('.score').text.strip() if item.select_one('.score') else '暂无评分'

# 其他字段类似处理...

movies.append({

'name': name,

'score': score,

# ... 其他字段

})

except AttributeError as e:

print(f"解析字段出错：{e}，跳过该条目")

continue

return movies

这里最容易踩的坑是网页结构变化。如果发现抓不到数据，先用浏览器开发者工具检查当前页面的HTML结构，确认选择器是否还有效。

3.3 批量抓取时的容错处理

PYTHON

def batch_crawl(start_page=1, end_page=10):

all_movies = []

failed_pages = []

for page in range(start_page, end_page + 1):

url = f'https://maoyan.com/films?offset={(page-1)*30}'

html = get_single_page(url)

if html:

movies = parse_movie_list(html)

if movies:

all_movies.extend(movies)

print(f"第{page}页采集成功，获取{len(movies)}部电影")

else:

print(f"第{page}页解析失败")

failed_pages.append(page)

else:

print(f"第{page}页请求失败")

failed_pages.append(page)

# 每采集5页做一次持久化，避免数据丢失

if page % 5 == 0:

save_to_csv(all_movies, f'movies_page_{page}.csv')

return all_movies, failed_pages

批量采集时一定要有断点续采机制。不要等全部页面采完才保存，应该按批次持久化到文件或数据库。

4. 数据清洗：用Pandas处理真实数据的实用技巧

原始爬虫数据往往存在各种问题，直接分析会得到错误结果。Pandas清洗时要重点关注这几个方面：

4.1 读取和初步检查

PYTHON

import pandas as pd

def load_and_check_data(csv_file):

# 读取时指定编码，避免中文乱码

df = pd.read_csv(csv_file, encoding='utf-8')

print("数据基本信息：")

print(f"总行数：{len(df)}")

print(f"列名：{df.columns.tolist()}")

print("\n前5行数据：")

print(df.head())

print("\n数据类型：")

print(df.dtypes)

print("\n缺失值统计：")

print(df.isnull().sum())

return df

先整体了解数据状况，再决定清洗策略。常见的猫眼电影数据问题包括：

评分字段混有"暂无评分"文本
票房数据包含"万""亿"等单位
上映时间格式不统一
主演/导演字段包含多余标签

4.2 针对性清洗处理

PYTHON

def clean_movie_data(df):

# 复制原始数据，避免修改原数据

cleaned_df = df.copy()

# 处理评分字段：将"暂无评分"转为NaN，其他转为数值

cleaned_df['score'] = pd.to_numeric(cleaned_df['score'], errors='coerce')

# 处理票房数据：提取数值并统一单位（万元）

def parse_box_office(value):

if pd.isna(value) or value == '':

return 0

if '亿' in str(value):

return float(value.replace('亿', '')) * 10000

if '万' in str(value):

return float(value.replace('万', ''))

return float(value)

cleaned_df['box_office'] = cleaned_df['box_office'].apply(parse_box_office)

# 处理上映时间：统一为日期格式

cleaned_df['release_time'] = pd.to_datetime(cleaned_df['release_time'], errors='coerce')

# 处理文本字段：去除多余空格和标签

text_columns = ['name', 'actor', 'director', 'type']

for col in text_columns:

cleaned_df[col] = cleaned_df[col].astype(str).str.strip()

# 删除完全空白的行

cleaned_df = cleaned_df.dropna(how='all')

return cleaned_df

清洗后要验证效果：

PYTHON

def validate_cleaned_data(cleaned_df):

print("清洗后数据统计：")

print(f"有效电影数量：{len(cleaned_df)}")

print(f"有评分电影：{cleaned_df['score'].notna().sum()}")

print(f"有票房数据：{cleaned_df['box_office'].notna().sum()}")

# 检查数值范围是否合理

if cleaned_df['score'].notna().any():

print(f"评分范围：{cleaned_df['score'].min():.1f} - {cleaned_df['score'].max():.1f}")

if cleaned_df['box_office'].notna().any():

print(f"票房范围：{cleaned_df['box_office'].min():.0f} - {cleaned_df['box_office'].max():.0f} 万元")

5. 数据存储：MySQL表设计和批量写入优化

清洗好的数据需要持久化存储，为后续分析和可视化提供稳定数据源。

5.1 数据库表结构设计

SQL

CREATE TABLE movies (

id INT AUTO_INCREMENT PRIMARY KEY,

name VARCHAR(255) NOT NULL COMMENT '电影名称',

type VARCHAR(100) NOT NULL COMMENT '电影类型',

actor TEXT NOT NULL COMMENT '主演',

director VARCHAR(255) NOT NULL COMMENT '导演',

release_time DATE NOT NULL COMMENT '上映时间',

country VARCHAR(100) NOT NULL COMMENT '国家/地区',

score FLOAT COMMENT '评分',

box_office DECIMAL(15,2) COMMENT '票房（万元）',

created_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP,

UNIQUE KEY unique_movie (name, release_time)

) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

设计要点：

设置唯一约束，避免重复插入相同电影
票房字段用DECIMAL确保精度
使用utf8mb4字符集支持所有中文
添加创建时间字段用于追踪

5.2 批量写入的Python实现

PYTHON

from sqlalchemy import create_engine

import pymysql

def save_to_mysql(df, table_name='movies'):

# 创建数据库连接

engine = create_engine('mysql+pymysql://username:password@localhost:3306/movie_analysis')

try:

# 分批写入，避免单次数据量过大

chunk_size = 1000

total_rows = len(df)

for i in range(0, total_rows, chunk_size):

chunk = df.iloc[i:i+chunk_size]

# if_exists='append' 表示追加数据，忽略重复项

chunk.to_sql(table_name, engine, if_exists='append', index=False)

print(f"已写入 {min(i+chunk_size, total_rows)}/{total_rows} 行")

print("数据写入完成")

except Exception as e:

print(f"写入数据库失败：{e}")

批量写入时要注意：

使用SQLAlchemy而不是直接pymysql，更方便处理数据类型转换
分批写入避免内存溢出
做好异常处理，记录失败情况
首次运行使用if_exists='replace'，后续用'append'

6. Flask Web应用搭建：从静态页面到动态可视化

有了数据基础，接下来用Flask构建Web应用展示分析结果。

6.1 基础Flask应用结构

TEXT

movie_analysis/

├── app.py # 主应用文件

├── templates/ # 模板文件

│ ├── index.html # 首页

│ ├── charts.html # 图表页面

│ └── layout.html # 基础模板

├── static/ # 静态资源

│ ├── css/

│ ├── js/

│ └── images/

├── utils/ # 工具函数

│ ├── database.py # 数据库操作

│ └── analysis.py # 数据分析

└── requirements.txt # 依赖列表

6.2 核心路由设计

PYTHON

from flask import Flask, render_template, jsonify, request

import pandas as pd

from utils.database import get_db_connection

app = Flask(__name__)

@app.route('/')

def index():

"""首页-数据概览"""

return render_template('index.html')

@app.route('/api/movies')

def get_movies():

"""获取电影数据API"""

page = request.args.get('page', 1, type=int)

limit = request.args.get('limit', 20, type=int)

offset = (page - 1) * limit

conn = get_db_connection()

try:

# 获取总数

total = conn.execute('SELECT COUNT(*) FROM movies').fetchone()[0]

# 获取分页数据

movies = conn.execute(

'SELECT * FROM movies ORDER BY release_time DESC LIMIT ? OFFSET ?',

(limit, offset)

).fetchall()

# 转换为字典列表

result = [dict(movie) for movie in movies]

return jsonify({

'code': 0,

'msg': 'success',

'count': total,

'data': result

})

finally:

conn.close()

@app.route('/api/box_office_rank')

def box_office_rank():

"""票房排名API"""

year = request.args.get('year', '2023')

top_n = request.args.get('top_n', 10, type=int)

conn = get_db_connection()

try:

query = """

SELECT name, box_office

FROM movies

WHERE strftime('%Y', release_time) = ? AND box_office > 0

ORDER BY box_office DESC

LIMIT ?

"""

result = conn.execute(query, (year, top_n)).fetchall()

data = {

'names': [row['name'] for row in result],

'values': [float(row['box_office']) for row in result]

}

return jsonify({'code': 0, 'data': data})

finally:

conn.close()

6.3 前端与ECharts集成

在templates/charts.html中：

HTML

<!DOCTYPE html>

<html>

<head>

<title>电影数据分析</title>

<style>

.chart-container {

width: 100%;

height: 400px;

margin: 20px 0;

}

</style>

</head>

<body>

// 初始化图表

var chart = echarts.init(document.getElementById('boxOfficeChart'));

// 获取数据并渲染

fetch('/api/box_office_rank?year=2023&top_n=10')

.then(response => response.json())

.then(data => {

if (data.code === 0) {

var option = {

title: { text: '2023年电影票房TOP10' },

tooltip: {},

xAxis: {

type: 'category',

data: data.data.names,

axisLabel: { rotate: 45 }

yAxis: { type: 'value', name: '票房（万元）' },

series: [{

name: '票房',

type: 'bar',

data: data.data.values

}]

};

chart.setOption(option);

}

});

// 响应窗口大小变化

window.addEventListener('resize', function() {

chart.resize();

});

</script>

</body>

</html>

7. 常见问题排查：从启动失败到图表不显示的解决方案

在实际运行过程中，你可能会遇到这些问题：

7.1 应用启动失败

问题现象：Error: Could not locate a Flask application.

排查步骤：

检查app.py中是否正确定义了Flask应用实例
确认环境变量FLASK_APP设置正确：export FLASK_APP=app.py
检查是否有语法错误或导入问题

7.2 数据库连接失败

问题现象：pymysql.err.OperationalError: (2003, "Can't connect to MySQL server")

解决方案：

PYTHON

# 检查连接参数

def get_db_connection():

try:

conn = pymysql.connect(

host='localhost',

user='your_username',

password='your_password',

database='movie_analysis',

charset='utf8mb4'

)

return conn

except Exception as e:

print(f"数据库连接失败：{e}")

return None

确保MySQL服务已启动，数据库和用户已创建，权限配置正确。

7.3 图表数据不显示

问题现象：页面正常打开，但图表区域空白

排查顺序：

打开浏览器开发者工具，查看Network标签页中API请求是否成功
检查API返回的数据格式是否符合ECharts要求
确认JavaScript中没有语法错误
查看ECharts版本是否兼容

7.4 爬虫被限制

问题现象：频繁收到429状态码（Too Many Requests）

应对策略：

降低请求频率，增加随机延迟
使用代理IP轮询
模拟更真实的浏览器行为
考虑使用官方API（如果提供）

8. 项目扩展思路：从学习demo到实用工具

完成基础功能后，可以考虑这些扩展方向：

8.1 数据维度扩展

增加用户评论情感分析
集成豆瓣评分对比
添加电影预告片和海报
收集导演、演员的历史作品数据

8.2 分析功能增强

电影类型与票房关系分析
上映时间与票房规律分析
演员号召力量化评估
地区市场偏好分析

8.3 系统性能优化

添加数据缓存机制（Redis）
实现异步数据更新
增加数据导出功能
优化前端加载速度

8.4 部署上线考虑

使用Gunicorn替代Flask开发服务器
配置Nginx反向代理
设置定期数据更新任务
添加用户权限管理

这个项目的价值在于它提供了一个完整的数据处理流水线样板。你可以基于这个框架，替换数据源和分析目标，快速搭建其他类似的分析系统。比如把猫眼电影换成豆瓣读书、电商商品、新闻数据等，核心的技术栈和架构思路都是相通的。

最重要的是先让基础版本跑起来，再根据实际需求逐步添加功能。不要一开始就追求完美，先把数据采集、清洗、展示的闭环打通，后续的优化就有明确方向了。