在知识蒸馏中，需要使用高温将知识“蒸馏”出来，但是如何调节温度 呢，温度的变化会产生怎样的影响呢？

[离清歌°]

在知识蒸馏中，需要使用高温将知识“蒸馏”出来，但是如何调节温度 呢，温度的变化会产生怎样的影响呢？

[weixin_38498942]

温度的高低改变的是Student模型训练过程中对负标签的关注程度。当温度较低时，对负标签的关注，尤其是那些显著低于平均值的负标签的关注较少；而温度较高时，负标签相关的值会相对增大，Student模型会相对更多地关注到负标签。