面对未知协变量偏移，AI知识蒸馏新突破！

[重大阿大]

📚 论文标题：Improving Knowledge Distillation Under Unknown Covariate Shift Through Confidence-Guided Data Augmentation

🔗 Arxiv ID：2506.02294

🔑 关键词：large foundation models, knowledge distillation, training data, covariate shift, data augmentation

📖 太长不看版：本工作提出了一种基于扩散的数据增强策略，有效提升了学生网络在协变量偏移情况下的鲁棒性，显著提升了识别准确率。

📝 摘要翻译：在大规模数据集上训练的大型基础模型在各个领域展现出强大的零样本能力。为了在数据和模型规模受限的情况下复制它们的成功，知识蒸馏已成为从基础模型向小型学生网络转移知识的一种成熟工具。然而，蒸馏的有效性受到可用训练数据的严重限制。这项工作解决了知识蒸馏中常见的实际问题——协变量偏移，即在训练期间出现但测试时未出现的虚假特征。我们提出了一个问题：当这些虚假特征未知，但有一个鲁棒的教师模型可用时，学生模型是否也能对它们变得鲁棒？我们通过引入一种基于扩散的新型数据增强策略来解决此问题，该策略通过最大化教师和学生之间的不一致性来生成图像，从而有效地创建学生难以处理的挑战性样本。实验表明，我们的方法在CelebA和SpuCo Birds上显著提高了最差组和平均组的准确率，以及在协变量偏移下，在虚假ImageNet上的虚假mAUC，优于最先进的基于扩散的数据增强基线。