有什么方式可以补足量化/剪枝对模型带来的精度的下降?

weixin_28747029 2021-12-30 11:49:02

有什么方式可以补足量化/剪枝对模型带来的精度的下降?

...全文

1844 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2021-12-30

打赏
举报

回复

1、加宽网络性价比高好实现
2、对不同重要性的参数在量化的时候赋予不同的bit 但是这可能带来一些计算的问题
3、同样的一层三种不同量化方式后结合（but 为开源需自己调参复现）
4、三个网络结构相同的网络进行begging boosting 投票。

原视频地址：https://www.bilibili.com/video/BV19J411R7t2?t=4678 官方长文：https://www.sohu.com/a/361341209_610522 整理的时候发现的官方长文。 Outlines Fixed-point and Floating-point Numbers 假如使用8bit 的离散量化方式只能表示256个数 128负 0 127正数模型压缩常见的方式 1矩阵分解：把100*100 的矩阵分解成...

国产大模型能力越来越强，但“能训”的同时，“能跑”却成为新的挑战：推理慢、资源吃紧、无法离线部署。本篇将从工程视角出发，详细讲解如何通过模型量化、结构裁剪、推理引擎适配与跨端部署，让 Qwen、DeepSeek 等国产模型高效运行在 Jetson、Android、iOS 等设备上，真正实现“从训练中心到终端落地”的完整闭环。文章包含技术原理、框架对比、格式转换流程、Jetson部署示例、安卓/iOS调用方式、实测数据对比表格，适合工程实践者收藏并快速落地部署。

变成128个负数，一个0,127个正数（用补码的规则）非结构化的剪枝（比如只是把某些值置为0），在gpu上并不会有性能的提升数值的选择性减少了，网络的表达能力可能会有比较大的下降量化精度和范围之间的权衡均匀or非均匀量化反转的问题：梯度不匹配比如求出来的h已经不能用4bit表示得到输出值后要重新用P来重新量化一遍而P和Q都是阶梯函数，在大量位置的梯度都是0，所以对P,Q求梯...

大家通常会问，大模型训练为什么一定要用A100，用4090难道不行吗？先说结论，大模型的训练用 4090 是不行的，但推理（inference/serving）用 4090 不仅可行，在性价比上还能比 H100 稍高。4090 如果极致优化，性价比甚至可以达到 H100 的 2 倍。事实上，H100/A100 和 4090 最大的区别就在通信和内存上，算力差距不大。H100A1004090Tens...

我自己的原文哦~ https://blog.51cto.com/whaosoft/11999205当代版木牛流马？国外网友造出「会走路的桌子」，引百万人围观你想喝瓶啤酒，于是就把桌子叫了过来。这不是吃了菌子才有的场景，而是国外网友的一项发明，名叫 Carpentopod。整个桌子有 12 条腿，里面内置了电机，是木工、电子和编程结合的产物。只要按下遥控器，桌子就会向你走来，像一个家用机器人一样。从图上可以看出，Carpentopod 走起来非常平稳，这是它的腿部参数不断「进化」的结果。这个「进化」过程在软

高通开发者论坛

2,851

社区成员

5,758

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章