目前的蒸馏方法主要基于从中间层蒸馏深层特征，而logit蒸馏的意义被大大忽视。为了为研究logit蒸馏提供一个新的观点，我们将经典的KD损失重新表述为两部分，即目标类知识蒸馏（TCKD）和非目标类知识蒸馏（NCKD）。我们通过实证研究和证明了这两部分的影响： TCKD转移了关于训练样本的“困难”的知识，而NCKD是logit蒸馏工作有效的主要原因。更重要的是，我们揭示了经典的KD损失是一个耦合公式，它(1)抑制了NCKD的有效性，(2)限制了平衡这两部分的灵活性。

最近，航空图像中的目标检测在计算机视觉中引起了广泛的关注。与自然图像中的物体不同，空中物体通常以任意方向分布。因此，检测器需要更多的参数来编码方向信息，这通常是高度冗余和低效的。此外，由于普通CNN没有明确地对方向变化进行建模，因此需要大量的旋转增强数据来训练准确的目标检测器。在本文中，我们提出了一种旋转等变检测器（ReDet）来解决这些问题，它明确编码了旋转等变性和旋转不变性。更准确地说，我们将旋转等变网络纳入检测器以提取旋转等变特征，这可以准确预测方向并导致模型尺寸的大幅减小。基于旋转等变特征，

准确预测未来的人类位置是现代视频监控系统的一项基本任务。当前最先进的模型通常依赖于过去跟踪位置的“历史记录”（例如，3到5秒）来预测未来位置的合理序列（例如，最多5秒）。由于输入轨迹的收集涉及机器感知（即检测和跟踪），因此在拥挤的场景中可能会累积不正确的检测和碎片错误，从而导致跟踪漂移。在这种情况下，模型将被馈送损坏和嘈杂的输入数据，从而致命地影响其预测性能。在这方面，我们专注于在仅使用少量输入观察时提供准确的预测，从而潜在地降低与自动感知相关的风险。为此，

多任务学习（MTL）在计算机视觉任务中得到了广泛的应用。我们训练一个骨干网络来学习不同任务的共享表示，例如语义分割、深度和正态估计。在许多情况下，负传输，即目标域中的性能受损，导致MTL精度低于训练相应的单任务网络。为了缓解这个问题，我们提出了一种在线知识蒸馏方法，其中单任务网络与MTL网络同时训练以指导优化过程。我们建议使用自适应特征蒸馏（AFD）损失和在线任务加权（OTW）方案为每个任务选择性地训练层。这种任务特征蒸馏使MTL网络能够以与单任务网络类似的方式进行训练。

训练有素的深度神经网络（又名“老师”）的知识对于学习类似的任务很有价值。知识蒸馏从教师那里提取知识，并将其与目标模型（又称“学生”）整合，从而扩展学生的知识并提高其学习效率。我们不是强迫老师和学生一起完成同样的任务，而是从通用标签空间训练教师并提取它的知识 ——在这个“广义知识蒸馏（GKD）”中，老师和学生的类别可能相同、完全不同或部分重叠。我们声称实例之间的比较能力是跨任务传递知识的基本因素，并提出了一种相互关联的局部半分类器蒸馏（REFILLED）方法，该方法解耦了嵌入的GKD流和顶层分类器。特别是，

实际应用要求目标检测模型能够以低开销实现高性能。在这种情况下，知识蒸馏通过将知识从繁琐的教师模式转移到轻量级学生模式来展示有利的潜力。然而，以前的蒸馏方法受到遥感图像中大量误导性背景信息的困扰，而忽略了对不同实例之间关系的研究。在本文中，我们提出了一种实例感知蒸馏（简称InsDist）方法来推导出高效的遥感目标检测器。我们的InsDist结合了基于特征和基于关系的知识蒸馏，以充分利用从教师到学生的知识转移中与实例相关的信息。