什么是知识蒸馏？？？？

霍大神 2021-12-22 16:04:24

什么是知识蒸馏？

...全文

1796 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2021-12-23

打赏
举报

回复

大模型往往是单个复杂网络或者是若干网络的集合，拥有良好的性能和泛化能力，而小模型因为网络规模较小，表达能力有限。因此，可以利用大模型学习到的知识去指导小模型训练，使得小模型具有与大模型相当的性能，但是参数数量大幅降低，从而实现模型压缩与加速。

NST蒸馏是对模型里面的的Block最后一层Feature做蒸馏，所以需要最后一层block的值。所以我们对模型要做修改来适应NST算法，并且为了使Teacher和Student的网络层之间的参数一致，我们这次选用CoatNet作为Teacher模型，选择ResNet18作为Student。 https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/127975441?spm=1001.2014.3001.5501

RKD实现对模型的蒸馏。与上一篇（https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/127787791?spm=1001.2014.3001.5501）蒸馏的方法有所不同，RKD是对展平层的特征做蒸馏，蒸馏的loss分为二阶的距离损失Distance-wise Loss和三阶的角度损失Angle-wise Loss。链接：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/127874090

知识蒸馏IRG算法实战：使用ResNet50蒸馏ResNet18 的源代码。详细看文章：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/127912648?spm=1001.2014.3001.5501

研究目录一、知识蒸馏的基本原理二、知识蒸馏在苹果公司LLMs中的应用三、什么是知识蒸馏？四、知识蒸馏的基本原理是什么？五、知识蒸馏如何提高模型性能？六、知识蒸馏与模型压缩的关系是什么？七、知识蒸馏如何减少计算复杂度？八、知识蒸馏如何降低资源需求？九、知识蒸馏如何提高模型的泛化能力？十、知识蒸馏中的教师模型和学生模型是什么？十一、教师模型如何训练？十二、学生模型如何模仿教师模型？十三、知识蒸馏中的数据增强技术有哪些？十四、如何设计知识蒸馏的损失函数？十五、如何优化模型架构以提高知识蒸馏效果？十六、知识蒸馏在自

从理论到实践全面掌握知识蒸馏

高通开发者论坛

2,852

社区成员

5,758

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章