知识蒸馏目标检测新作！CVPR 24：CrossKD

[重大阿大]

论文标题】CrossKD: Cross-Head Knowledge Distillation for Object Detection

【论文单位】 南开大学

【论文出处】 CVPR 2024

【技术亮点】✨ CrossKD技术，一种新颖的目标检测知识蒸馏方法，通过预测模仿蒸馏方案显著提升学生模型的检测性能。

【工作原理】🔍 1. 将学生模型的中间特征传递至教师模型的检测头部，生成交叉头部预测。 2. 交叉头部预测与教师模型的预测之间进行知识蒸馏，减少学生模型的矛盾学习信号。

【实验结果】📈 1. 在GFL ResNet-50模型上，AP从40.2提升至43.7，增幅3.5 AP。 2. 在RetinaNet、FCOS和ATSS检测器上，性能提升2.3至2.8 AP。 3. 在目标冲突严重的情况下，即使教师模型与学生模型标签分配器不同，学生模型的AP仍提升了1.0至1.9 AP。

【应用场景】🏢 1. 提升智能视频监控系统中的目标检测精度。 2. 增强自动驾驶车辆的环境感知能力。 【结语】📝 CrossKD技术为目标检测领域带来了新的优化方向，尤其在处理教师模型与学生模型间的标签冲突问题上表现出色。期待未来在更多AI应用中看到其身影。