基于YOLOv8与RexNet-150的两阶段考试作弊检测系统实战解析

深度学习计算机视觉目标检测
于 2026-05-31 03:02:12 修改
·本内容遵循CC 4.0 BY-SA版权协议

1. 项目概述：一个更聪明的“监考助手”是如何炼成的

在考场里抓作弊，这事儿听起来像是监考老师的“火眼金睛”。但现实是，人眼会疲劳，注意力会分散，尤其是在几十上百人的大考场里，一个老师要同时监控所有学生，难免会有疏漏。更别提线上考试了，屏幕背后发生了什么，监考者更难把握。这就是为什么我们需要技术来帮忙——不是取代人类，而是作为一双不知疲倦、始终专注的“眼睛”，辅助老师更公平、更高效地执行监考任务。

我最近花了不少时间，深入研究并复现了一个基于深度学习的考试作弊检测框架。这个框架的核心思路非常清晰，它把复杂的“全场监控”问题，拆解成了两个计算机视觉领域非常成熟的任务：先找人，再判行为。听起来简单，但里面的门道可不少。为什么是两阶段而不是一阶段？为什么选YOLOv8和RexNet-150这两个模型？数据集从哪来、怎么处理？模型训练中有什么坑？这些都是我在复现和思考过程中，觉得最有价值、也最想分享给大家的经验。

简单来说，这个框架就像一位训练有素的监考员：第一阶段（YOLOv8）负责快速“扫视”整个考场画面，精准地找到每一个考生的位置；第二阶段（RexNet-150）则像是一位经验丰富的老师，紧紧“盯住”刚才找到的每个考生，仔细观察他/她的动作细节，判断是否有作弊嫌疑。最终，系统会把“作弊”的标签和对应的位置框，标注回原始图像上，形成一个直观的监控报告。这个方案在公开的大规模数据集上取得了超过95%的准确率，并且平均处理一张图只需要不到14毫秒，意味着它完全有能力进行实时视频流分析。

接下来，我就把这个框架从设计思路、数据准备、模型选型、训练技巧到实战避坑的完整过程，掰开揉碎了讲给你听。无论你是教育技术领域的产品经理，还是对计算机视觉应用感兴趣的开发者，或者只是想了解AI如何解决实际问题的爱好者，相信都能从中获得一些启发。

2. 核心设计思路：为什么“两阶段”是更优解？

在动手敲代码之前，想清楚“为什么”比“怎么做”更重要。这个项目的核心设计——“两阶段、以目标为中心”——背后有深刻的考量，直接决定了最终效果的成败。

2.1 传统方法的瓶颈：信号淹没在噪声里

在早期或者一些简单的AI监考方案中，常见的思路是“全图分类”。也就是把一整张考场监控图片直接塞给一个分类模型（比如一个CNN），让模型去判断“这张图里有没有人作弊”。这种做法听起来很直接，但实际效果往往不尽如人意。

问题出在哪里？关键在于信噪比。在一张典型的考场俯拍或平拍图中，考生本人可能只占据了画面中不到十分之一的像素面积，其余大部分是课桌、墙壁、地板、其他考生等背景信息。对于模型来说，它要学习的核心信号（考生的可疑动作）被海量的、无关的噪声（背景）所淹没。模型很可能会学到一些与作弊无关的、虚假的相关性，比如某种特定的课桌颜色、考场灯光角度，甚至是某个总爱作弊的学生的长相特征（如果数据集中该学生出现频繁）。这会导致模型在训练集上表现很好，但一换到新的考场环境，泛化能力就急剧下降。

此外，全图分类无法提供“定位”信息。即使模型判断“有作弊”，监考老师也无法快速知道是哪个学生在作弊，需要人工在画面中再次寻找，失去了自动化的意义。

2.2 两阶段范式的优势：聚焦与解耦

我们的两阶段框架，正是为了克服上述瓶颈而设计的。它的核心思想是解耦与聚焦。

  • 第一阶段：定位（解耦空间复杂性）。我们首先用一个专精于“找东西”的模型——目标检测器YOLOv8——来解决“人在哪”的问题。这个任务相对单纯：不管行为如何，先把画面里所有“人”这个类别的物体框出来。这一步将“复杂场景理解”这个难题，分解成了“目标检测”这个更成熟、解决方案更多的子问题。YOLOv8在这方面是公认的强者，速度快、精度高。
  • 第二阶段：分类（聚焦核心信号）。拿到精准的考生边界框后，我们把每个框内的区域（Region of Interest, ROI）裁剪出来，单独送入另一个专精于“看内容”的模型——图像分类器RexNet-150。此时，输入给分类器的图像中，背景干扰被极大程度地消除了，画面中心就是考生（主要是上半身和头部）。分类器可以全身心地去分析考生的姿态、手势、视线方向、手中物品等细微特征，从而更准确地区分“正常答题”和“偷看手机/小抄”等行为。

这种设计带来了几个显而易见的好处：

  1. 精度提升：分类器不再需要费力地从海量背景噪声中提取微弱的行为信号，任务难度大大降低，分类精度自然提高。后文的消融实验也证实了这一点，两阶段方法比全图基线准确率提升了超过16%。
  2. 可解释性增强：系统的输出非常直观：“第X号考生（对应某个边界框）有作弊嫌疑”。这为监考人员提供了可直接采取行动的信息。
  3. 模块化与可维护性：两个阶段相对独立。如果未来有更快的目标检测模型（如YOLOv11）或更强大的分类模型出现，可以很方便地单独替换升级，而不需要重新设计整个系统。
  4. 处理多人场景：天然支持一个画面中有多个考生的情况。第一阶段会输出多个边界框，第二阶段则对每个框并行处理，分别判断。

注意：这个思路并非本项目的独创，它在计算机视觉的很多领域都有应用，比如先检测人脸再做人脸识别，先检测车辆再做车型分类。其成功的关键在于，它符合人类视觉认知的层次化处理过程：先注意到物体，再识别其属性。

2.3 模型选型的权衡：为什么是YOLOv8n和RexNet-150？

确定了架构，下一个关键决策是模型选型。这里没有“最好”的模型，只有“最合适”的模型。我们的选择是在精度、速度和部署成本之间寻找最佳平衡点，尤其考虑了在教育机构中实际部署的硬件限制。

  • 第一阶段：YOLOv8n (Nano)。YOLO系列一直是实时目标检测的标杆。我们选择了其中的“纳米”（nano）版本。为什么不选更大的YOLOv8m或YOLOv8x？甚至更新的YOLOv11？

    • 速度优先：第一阶段的检测需要处理原始分辨率图像（可能高达1080p或4K），计算量较大。YOLOv8n是系列中最轻量级的，能在保持足够高的人物检测精度的前提下，实现极快的推理速度，为后续的第二阶段和实时处理留出时间预算。
    • 够用就好：对于“检测考场中的人”这个任务，目标相对大而明显，场景复杂度有限（相比自动驾驶中检测远处的小车辆），YOLOv8n的能力已经绰绰有余。使用更大的模型带来的精度边际收益很小，但计算开销会成倍增加。
    • 预训练优势：我们直接使用了在COCO数据集上预训练的YOLOv8n模型，无需微调。COCO数据集中包含丰富的“人”这一类别的样本，使得模型已经具备了强大的人物检测能力，开箱即用，进一步节省了训练成本和时间。

  • 第二阶段：RexNet-150。分类模型的选择更多。ResNet、EfficientNet、MobileNet等都是候选。最终选择RexNet-150，是基于以下考虑：

    • 特征提取能力：RexNet是专门为移动设备设计的高效架构，通过独特的通道缩放策略，在同等参数量下往往能获得比ResNet更优的特征表示能力。作弊行为识别依赖于对细微姿态、手持物等特征的捕捉，需要模型有较强的特征提取能力。
    • 实验验证：原文作者对比了ResNet-18、EfficientNet-B0和RexNet-150。结果（如下表所示）表明，RexNet-150取得了最高的准确率（95.16%）和F1分数（0.91）。虽然它的参数量（21.3M）比EfficientNet-B0（5.3M）大，但带来的性能提升是值得的，尤其是在服务器端进行推理的场景下。
    • 迁移学习友好：RexNet-150在ImageNet这样的大型数据集上有优秀的预训练权重。我们采用迁移学习，利用这些权重初始化模型，可以极大地加速训练收敛，并提升模型在作弊检测这个新任务上的泛化性能。
骨干网络 准确率 F1分数 (作弊类) 参数量 (百万) 特点分析
ResNet-18 93.81% 0.88 11.7 经典稳定，但性能略逊
EfficientNet-B0 94.55% 0.90 5.3 轻量高效，精度与速度平衡极佳
RexNet-150 (选用) 95.16% 0.91 21.3 精度最高，特征提取能力强，适合对精度要求高的场景

这个选择体现了工程上的权衡：第一阶段用最轻快的模型保证实时性，第二阶段用一个能力更强的模型来攻坚核心的分类难题，整体上实现了效率的最大化。

3. 从零到一：数据工程与模型训练实战

有了清晰的蓝图和合适的“建材”（模型），接下来就是最耗费心力的“施工”阶段：准备数据和训练模型。这部分工作决定了系统性能的上限，也是坑最多的地方。

3.1 数据集构建：化零为整的艺术

高质量的数据集是AI项目的基石。但像“考试作弊”这种特定场景，公开、大规模、标注良好的数据集非常稀缺。本项目的一个关键贡献，就是从10个不同的公开数据源中整合、清洗、标准化出了一个包含超过27万样本的大型数据集。

数据收集与清洗：

  1. 多源汇集：作者从Roboflow等平台搜集了10个相关的开源数据集。这些数据集可能由不同的团队、针对略有差异的场景（如线下作弊、线上作弊、使用手机、偷看笔记等）构建。
  2. 标签统一：这是最繁琐但至关重要的一步。不同数据集的标注规则五花八门。有的标签是“cheating”和“normal”，有的是“Mobile”和“Hand-Normalmove”，还有“phone”、“not-cheating”等等。我们必须建立一个统一的映射表，将所有标签归约为两个类别：1（作弊）和0（正常）。例如，所有“cheating”、“Mobile”、“phone”都映射为1。
  3. 数据过滤：剔除低分辨率、严重模糊或与考试场景完全无关的图片。同时，检查并处理标注错误，例如边界框严重出界、标注了非人物体等。

数据集划分： 清洗后的数据被随机打乱，按照 80% : 10% : 10% 的比例划分为训练集、验证集和测试集。具体数字如下：

  • 训练集：219,117 张图片
  • 验证集：27,389 张图片
  • 测试集：27,391 张图片

实操心得：在划分数据集时，务必确保随机性，避免来自同一个原始数据源的所有图片都集中在某个子集中，否则会导致数据分布偏差，影响模型泛化能力评估。可以使用sklearn的train_test_split并设置随机种子。

3.2 第一阶段：基于YOLOv8的考生定位

这一阶段我们直接使用预训练的YOLOv8n模型，无需训练。但这不意味着可以掉以轻心，预处理和后处理同样关键。

推理与后处理流程：

  1. 输入：一张考场监控图像（例如，1920x1080像素）。
  2. YOLOv8推理：将图像输入YOLOv8n模型。模型会输出多个检测框，每个框包含坐标、置信度和类别标签（如‘person’， ‘chair’， ‘book’等）。
  3. 过滤与提取：我们只关心‘person’类别的检测框。遍历所有检测结果，保留类别为‘person’且置信度高于某个阈值（例如0.5）的边界框。这一步就得到了所有考生的位置。
  4. ROI裁剪：根据每个‘person’边界框的坐标，从原始图像中裁剪出对应的区域。这些裁剪出的图片就是第二阶段的输入。
PYTHON
# 伪代码示例：使用Ultralytics YOLOv8进行检测和裁剪
from ultralytics import YOLO
import cv2
 
# 加载预训练模型
model = YOLO('yolov8n.pt')
 
# 读取图像
image = cv2.imread('exam_hall.jpg')
results = model(image)[0] # 获取第一个（也是唯一一个）推理结果
 
person_boxes = []
for box in results.boxes:
cls_id = int(box.cls[0])
if results.names[cls_id] == 'person': # 判断是否为‘人’
conf = float(box.conf[0])
if conf > 0.5: # 置信度过滤
xyxy = box.xyxy[0].cpu().numpy() # 获取框的坐标 [x1, y1, x2, y2]
person_boxes.append(xyxy)
 
# 根据person_boxes裁剪ROI
roi_images = []
for box in person_boxes:
x1, y1, x2, y2 = map(int, box)
roi = image[y1:y2, x1:x2] # 裁剪
roi_images.append(roi)

注意事项：YOLO输出的边界框可能非常“紧贴”人体。这对于后续的行为分类可能是个隐患。如果作弊的证据（如手里的手机、桌下的纸条）刚好在边界框之外，那么分类器就永远“看”不到这个关键证据。在后续的优化中，可以考虑适当扩大裁剪区域（例如，将框的高度和宽度各增加10%），以包含更多的上下文信息。

3.3 第二阶段：基于RexNet-150的作弊行为分类

这是项目的核心，也是需要我们自己训练模型的部分。

数据预处理：

  1. 尺寸统一：将从第一阶段裁剪出的ROI图像，全部缩放至固定的 224x224 像素。这是RexNet等经典CNN架构的标准输入尺寸。
  2. 标准化：对图像进行像素值标准化，通常是将像素值从0-255范围缩放到0-1之间，并减去ImageNet数据集的均值，除以其标准差。这有助于模型稳定训练。
  3. 数据增强（谨慎使用）：原文中提到训练时未使用复杂的数据增强（仅进行了Resize, ToTensor, Normalize）。这是因为作弊行为往往与特定的空间方向和姿态相关（如低头看手机）。随机的旋转、翻转可能会破坏这些关键特征，产生误导性的样本。在实际应用中，可以尝试一些安全的增强，如轻微的亮度、对比度调整，或添加高斯噪声来模拟不同的监控画质。

模型训练细节：

  • 架构：RexNet-150。
  • 预训练权重：加载在ImageNet-1k上预训练的权重。这是迁移学习的关键，能让模型从一个非常好的起点开始学习。
  • 优化器：Adam。这是目前最常用的自适应优化器，能自动调整学习率。
  • 学习率：3e-4 (0.0003)。这是一个比较常用的初始学习率。对于微调任务，学习率不宜设置过大，以免破坏预训练权重中已经学到的良好特征。
  • 损失函数：交叉熵损失（Cross-Entropy Loss）。这是多分类（此处是二分类）任务的标准选择。
  • 训练轮数：10个epoch。

训练过程观察与策略（关键经验）： 原文中的训练曲线图（训练/验证损失和F1分数）揭示了一个非常重要的现象：过拟合。

  • 训练损失持续下降至很低的值（0.039），说明模型完全有能力记住训练数据。
  • 验证损失在第3个epoch达到最低点后开始反弹上升，而验证F1分数在第8个epoch左右达到峰值后开始停滞甚至轻微下降。

这是一个典型的过拟合信号：模型在训练集上表现越来越好，但在没见过的验证集上，性能达到一个峰值后开始变差，说明模型开始“死记硬背”训练样本的特有噪声，而非学习通用的作弊行为特征。

避坑指南：遇到这种情况怎么办？原文采用了最实用的一招：手动早停（Manual Early Stopping）。他们没有使用最后一个epoch的模型，而是选择了在验证集上表现最好的那个检查点——第8个epoch的模型权重，作为最终模型。这是防止过拟合、提升模型泛化能力的标准操作。在实际操作中，我们可以利用PyTorch的ModelCheckpoint回调，自动保存验证集指标最好的模型。

4. 系统集成、评估与效果分析

模型训练好了，接下来就是把两个阶段串起来，形成一个完整的流水线，并对其进行全面评估，看看它到底行不行。

4.1 端到端推理流水线

完整的系统工作流程如下：

  1. 输入：单帧考场监控图像或视频流。
  2. 阶段一：检测。YOLOv8n模型处理整图，输出所有“人”的边界框列表 [bbox1, bbox2, ...]。
  3. ROI处理：对每个边界框，从原图裁剪，并resize到224x224，进行标准化。
  4. 阶段二：分类。将处理后的每个ROI送入训练好的RexNet-150模型，得到其属于“作弊”（1）或“正常”（0）的预测概率。
  5. 后处理与输出：将预测为“作弊”的边界框及其类别标签，以高亮形式（如红色框+“Cheating”文字）绘制回原始图像上。对于视频流，可以设置一个时间窗口内的持续检测逻辑，以减少瞬时误判。

4.2 性能评估：数字背后的含义

在独立的测试集（27,391张图片）上，系统取得了如下成绩：

类别 精确率 (Precision) 召回率 (Recall) F1分数 支持数 (样本量)
正常 (not_cheating) 0.97 0.97 0.97 5057
作弊 (cheating) 0.91 0.91 0.91 1838
整体准确率 (Accuracy) 0.95 6895

这个结果非常亮眼，但我们不能只看一个准确率数字，必须深入理解每个指标的含义：

  • 精确率 (Precision) = 0.91 (作弊类)：这意味着在所有被系统判定为“作弊”的警报中，有91%是真正的作弊。7%的误报率。在教育场景中，误报意味着可能错误地指控了诚实的学生，需要谨慎处理。可以通过调高分类阈值来提升精确率（减少误报），但这可能会降低召回率。
  • 召回率 (Recall) = 0.91 (作弊类)：这意味着在所有真实的作弊行为中，系统成功检测出了91%。9%的漏报率。漏报意味着有作弊行为没被抓到。
  • F1分数 = 0.91：是精确率和召回率的调和平均数，综合衡量了模型对“作弊”这个少数类的识别能力。0.91是一个非常高的分数，说明模型在减少误报和漏报之间取得了很好的平衡。
  • 正常类的高指标：对于“正常”类，精确率和召回率都达到0.97，说明系统非常擅长识别正常行为，这有助于维持考场监控的流畅性，避免频繁的无效警报。

与基线模型的对比（消融实验）： 为了证明两阶段设计的有效性，作者训练了一个“全图基线模型”：直接用原图（不裁剪）训练一个RexNet-150来分类整张图是否包含作弊。结果对比如下：

方法 准确率 精确率 (作弊) 召回率 (作弊) F1分数 (作弊)
全图基线 78.52% 0.65 0.61 0.63
两阶段 (本文) 95.16% 0.91 0.91 0.91
性能提升 +16.64% +0.26 +0.30 +0.28

这个对比极具说服力。两阶段方法在所有指标上均大幅领先，尤其是F1分数提升了惊人的28个百分点。这强有力地验证了我们的核心假设：先定位、再分类的对象中心化思路，能有效排除背景干扰，是解决此类复杂场景理解问题的关键。

4.3 定性分析与常见错误模式

看数字很重要，但看模型具体“错在哪”更能指导我们改进。作者对错误案例进行了分析，主要分为两类：

  1. 误报 (False Positives)：学生行为正常但被判定为作弊。

    • 典型场景：学生用手托腮思考、挠头、调整眼镜、因疲劳而低头闭目养神。
    • 原因分析：模型基于单张静态图片进行判断。托腮、手靠近脸部等动作，在单帧画面里与“偷看手心里的纸条”或“用手掩嘴说话”等作弊动作在视觉上非常相似。模型缺乏时间上下文来区分一个瞬间动作和一个持续行为。
    • 解决方案：引入时序建模。例如，使用视频片段（连续多帧）作为输入，采用3D CNN或CNN-LSTM等模型，判断该动作是持续性的可疑行为，还是瞬间的正常动作。

  2. 漏报 (False Negatives)：学生实际作弊但未被检测到。

    • 典型场景：作弊证据不在裁剪的ROI内。例如，手机放在大腿上（在YOLO检测的人体框下方），或小抄贴在显示器侧面（在人体框之外）。
    • 原因分析：这是当前“紧贴人体”裁剪策略的固有缺陷。分类器只看到了一个“正在低头”的学生上半身，而关键的作弊物证不在视野内。
    • 解决方案：优化ROI裁剪策略。可以在YOLO检测框的基础上，进行自适应扩展。例如，向下扩展框体以包含桌面和大腿区域，向左右扩展以包含手臂活动范围。或者，采用更先进的实例分割模型（如YOLOv8-seg）替代检测模型，获取精确的人体掩膜，再根据掩膜向外扩展一定像素区域作为ROI。

5. 部署考量、伦理问题与未来展望

一个成功的AI项目不止于实验室的高指标，更要考虑如何落地，以及落地带来的影响。

5.1 实际部署的考量

  • 实时性：平均13.9毫秒的单帧处理时间，意味着在常规30FPS的视频流中，系统有充足的时间（约72毫秒/帧）进行处理，满足实时监控要求。部署时需考虑视频解码、前后帧缓冲、结果渲染等额外开销。
  • 硬件需求：使用YOLOv8n和RexNet-150，在配有中端GPU（如NVIDIA RTX 3060/3080）的服务器上即可流畅运行。对于纯CPU环境，可能需要考虑更轻量的模型（如将RexNet-150换为EfficientNet-B0）或模型量化技术。
  • 系统集成：该系统通常作为后端服务。前端可以是考场摄像头推流，后端服务处理视频流，将分析结果（带标注框的图片或警报信息）推送到监考员的监控仪表盘上。
  • 阈值调节：分类模型输出的是一个概率值（如0.85）。在实际应用中，可以根据对误报和漏报的容忍度，动态调整判定为“作弊”的概率阈值。追求零误报（宁可错放，不可错怪）就调高阈值；追求零漏报（宁可错怪，不可错放）就调低阈值。

5.2 伦理与隐私：技术向善的边界

任何监控技术都必须谨慎对待伦理问题，尤其是在教育这种关乎个人发展的敏感场景。

  • 非公开指控：原文特别强调，检测结果应通过私人渠道（如个人邮箱）告知学生本人，而非公开张贴或广播。这避免了当众羞辱，给予学生申辩和反思的机会，体现了教育的目的在于纠正而非惩罚。
  • 人工复核：AI系统应定位为“辅助工具”，所有AI产生的警报必须由监考老师进行最终复核确认，避免完全依赖算法做出可能影响学生学业的重要决定。
  • 数据安全：处理过程中产生的学生图像数据，必须加密存储，严格限制访问权限，并在考试结束后的一段合理时间内安全销毁。

5.3 未来改进方向

这个框架是一个强大的起点，但仍有广阔的优化空间：

  1. 多模态融合：集成音频分析。例如，检测考场中异常的低声说话、耳机漏音等。视觉+听觉的双重证据链，能大幅提高判断的可靠性。
  2. 时序建模：如前所述，使用3D CNN或Transformer处理短视频片段，区分瞬时动作和持续性的可疑行为，减少误报。
  3. 细粒度分类：将二分类（作弊/正常）扩展为多分类（使用手机、偷看笔记、交头接耳、代考等）。这能为监考员提供更具体的违规类型信息。
  4. 更智能的ROI生成：探索结合人体姿态估计（如OpenPose）来更智能地定义ROI，确保手部、桌面等关键区域被包含在内。
  5. 领域自适应与持续学习：当系统部署到新的考场（不同的摄像头角度、灯光、课桌布局），可以通过少量新数据对模型进行微调，使其快速适应新环境。

复现和实践这个项目的整个过程，让我深刻体会到，一个好的AI应用不仅仅是堆砌最先进的模型，更是对问题本质的深刻理解、精巧的工程架构设计，以及在精度、速度、成本、伦理等多重约束下寻找最优解的系统性思维。从“找到人”到“看懂人在干什么”，这个两阶段的框架提供了一个清晰、高效且可扩展的范式，不仅适用于考试监考，其思想也能迁移到安防、零售、人机交互等众多需要“在复杂场景中理解特定对象行为”的领域。希望这次详细的拆解，能为你带来一些切实的参考和启发。