为什么要压缩模型，而不是直接训练一个小的CNN？

詹姆斯巴恩斯 2021-12-16 12:58:10

为什么要压缩模型，而不是直接训练一个小的CNN？

...全文

1850 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2021-12-16

打赏
举报

回复

请直接参考，https://www.zhihu.com/question/303922732%EF%BC%8C%E5%A4%A7%E7%A5%9E%E4%BB%AC%E5%9C%A8%E8%BF%99%E9%87%8C%E6%9C%89%E8%BF%99%E6%A0%B7%E7%9A%84%E8%AE%A8%E8%AE%BA

在某些真实的应用场景如移动或者嵌入式设备，如此大而复杂的模型是难以被应用的。 (1)首先是模型过于庞大，面临着内存不足的问题。 (2)其次这些场景要求低延迟，或者说响应速度要快。所以，研究小而高效的CNN模型在这些场景至关重要。目前的研究总结来看分为两个方向：一是对训练好的复杂模型进行压缩得到小模型；二是直接设计小模型并进行训练。不管如何，其目标在保持模型性能（accuracy）的前提下降低模型大小（parameters size），同时提升模型速度（speed, low latency）。【学习链接

1，CNN模型压缩综述 1 模型压缩的必要性及可行性（1）必要性：首先是资源受限，其次在许多网络结构中，如VGG-16网络，参数数量1亿3千多万，占用500MB空间，需要进行309亿次浮点运算才能完成一次图像识别任务；（2）可行性：模型的参数在一定程度上能够表达其复杂性，相关研究表明，并不是所有的参数都在模型中发挥作用，部分参数作用有限、表达冗余，甚⾄会降低模型的性能。论⽂提出，很多的深度神经网络仅仅使用很少一部分（5%）权值就⾜以预测剩余的权值。该论⽂还提出这些剩下的权值甚至可以直接不用被学习。

导入必要的库，定义超参数，读取训练和测试标签CSV文件，确保标签是字符串类型，显示两个数据框的前几行以了解它们的结构，定义图像处理参数，创建图像数据生成器，设置目录路径，创建训练和验证数据生成器，构建模型，编译模型，训练模型并收集历史，绘制损失和准确率曲线，保存图表，保存模型到本地

摘要这里尝试通过一问一答的方式来简介MiniLM。 Q：这篇文章要解决什么问题？ A：预训练模型的低效问题。预训练模型过大的话，有2个弊端：(1)推理速度慢(2)内存空间占用大。 Q：文章如何解决上述问题？ A：提出了一种通用的面向Transformer-based预训练模型压缩方法：MiniLM。MiniLM有3个核心点： (1)蒸馏teacher模型最后一层Transformer的自注意力模块 (2)在自注意模块中引入值之间的点积 (3)引入助教模型辅助模型蒸馏 Q：文章方案最终效果如何？ A：

当今，随着深度学习技术的不断进步，越来越多的大型多模态模型被应用于自然语言处理、计算机视觉等领域。然而，这些模型往往需要数十亿甚至上百亿的参数，不仅训练时间长、计算资源消耗大，而且在实际应用中也会受到硬件、网络等因素的限制。因此，如何对这些大型模型进行压缩，成为了一个备受关注的研究方向。模型压缩不仅可以缩短训练时间、降低计算资源消耗，还可以提高模型在移动设备等资源有限的场景下的应用性能。本文将介绍一些常用的模型压缩方法，以及它们在大型多模态模型上的应用。

高通开发者论坛

2,852

社区成员

5,758

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章