知识蒸馏DEiT算法实战：使用RegNet蒸馏DEiT模型

论文翻译：DEiT通过引入一个蒸馏token实现蒸馏，蒸馏的方式有两种：这篇文章就是从第二点入手，使用卷积神经网络蒸馏DEiT。讲解视频：https://www.zhihu.com/zvideo/1588881049425276928先把结论说了吧！ Teacher网络使用RegNet的regnetx_160网络，Student网络使用DEiT的deit_tiny_distilled_patch16_224模型。如下表data：数据集，分为train和val。models：存放模型文件。losse