【论文速递】TPAMI2023 - 基于关系匹配的广义知识蒸馏
训练有素的深度神经网络(又名“老师”)的知识对于学习类似的任务很有价值。知识蒸馏从教师那里提取知识,并将其与目标模型(又称“学生”)整合,从而扩展学生的知识并提高其学习效率。我们不是强迫老师和学生一起完成同样的任务,而是从通用标签空间训练教师并提取它的知识 ——在这个“广义知识蒸馏(GKD)”中,老师和学生的类别可能相同、完全不同或部分重叠。我们声称实例之间的比较能力是跨任务传递知识的基本因素,并提出了一种相互关联的局部半分类器蒸馏(REFILLED)方法,该方法解耦了嵌入的GKD流和顶层分类器。特别是,