请问，qualcomm在模型部署调用DSP时,能够直接对huggingface上的量化后模型进行部署吗？

chenfeng0232 2025-02-07 15:44:41

若不能，是必须借助qualcomm提供的量化工具，进行量化后，才能实现模型转换和部署吗

...全文

578 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 02-20

打赏
举报

回复

是的, 目前从huggingface 下载的模型大部分都是fp32的, 然后需要高通的工具进行量化. 方法是在QPM的"AI stack"中有个"Qualcomm Genrative AI Tutorials" 有对应的模型量化代码, 目前llama2/3 和stable diffusion都是可以转的, 其他的模型的量化需要改这个代码来实现其他模型的量化, 可以量化为int8/int4之后可以放到高通DSP上运行.

为了能在高通的gpu/dsp上运行神经网络，高通提供了一套sdk:https://developer.qualcomm.com/docs/snpe/overview.html 通过这套sdk,可以把caffe/tensorflow等平台的模型转成.dlc格式的离线模型，可选地，还可以对模型进行量化、压缩等操作。通过这套sdk，可以轻松地在高通的gpu/dsp上运行神经网络，充分利用硬件资源。 S...

非量化模型文件使用网络参数的 32 位浮点表示。量化模型文件使用网络参数的定点表示，通常为 8 位权重和 8 或 32 位偏差。定点表示与 Tensorflow 量化模型中使用的相同。在量化模型或非量化模型之间进行选择CPU - 选择非量化模型。量化模型目前与 CPU 后端不兼容。DSP - 选择量化模型。在 DSP 后端运行时需要量化模型。GPU - 选择非量化模型。量化模型目前与 GPU 后端不兼容。HTP - 选择量化模型。在 HTP 后端运行时需要量化模型。

可以通过支持 SNPE 的应用程序（使用 SNPE C/C++ API 编写的应用程序）部署模型 DLC（量化或非量化）。（通过 input_list 文件），都会生成一个输出文件夹，其中包含保存为原始文件的输出张量，其大小将与模型的输出层匹配，如下图所示。SNPE SDK 提供 C/C++ API，用于创建/开发可在指定硬件（CPU、GPU 或 HTP）上加速运行模型的应用程序。工具（使用 C API 编写的应用程序），可以加载任意模型 DLC 并在提供的输入上执行它。在此示例中，输出保存到主机上的。

0 概述模型训练重点关注的是如何通过训练策略来得到一个性能更好的模型，其过程似乎包含着各种“玄学”，被戏称为“炼丹”。整个流程包含从训练样本的获取（包括数据采集与标注），模型结构的确定，损...

高通SNPE框架的使用 | 原始模型转换为量化的DLC文件 | 在Android的CPU端运行模型

高通开发者论坛

3,770

社区成员

5,820

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章