【论文速递】WACV2023- 用于多任务学习的在线知识蒸馏
多任务学习(MTL)在计算机视觉任务中得到了广泛的应用。我们训练一个骨干网络来学习不同任务的共享表示,例如语义分割、深度和正态估计。在许多情况下,负传输,即目标域中的性能受损,导致MTL精度低于训练相应的单任务网络。为了缓解这个问题,我们提出了一种在线知识蒸馏方法,其中单任务网络与MTL网络同时训练以指导优化过程。我们建议使用自适应特征蒸馏(AFD)损失和在线任务加权(OTW)方案为每个任务选择性地训练层。这种任务特征蒸馏使MTL网络能够以与单任务网络类似的方式进行训练。