我可以在CPU或GPU上运行量化的DLC文件吗?

weixin_32225865 2022-06-08 14:32:43

我可以在CPU或GPU上运行量化的DLC文件吗? 

...全文
2025 1 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
weixin_38498942 2022-06-09
  • 打赏
  • 举报
 回复

SNPE运行时将在初始化CPU或GPU时自动反量化DLC参数。由于这个去量化阶段，网络初始化时间将大大增加。

高通SNPE SDK模型量化(一)
CPU默认情况下，CPU 使用浮点（非量化）网络参数。支持将量化的 DLC 文件与 CPU 运行时一起使用。要直接使用量化的网络参数，应该启用 CPU定点模式。如果未启用，网络初始化时间会显著增加，因为 Qualcomm® 神经处理 SDK 将自动对网络参数进行反量化，以便在 CPU上运行。DLC 文件的量化确实会引入噪声，因为量化是有损的。执行期间网络性能不受量化与非量化 DLC 文件选择的影响。GPUGPU 始终使用浮点（非量化）网络参数。
在高通平台的cpu/gpu/dsp/npu上运行神经网络模型
为了能在高通的gpu/dsp上运行神经网络，高通提供了一套sdk:https://developer.qualcomm.com/docs/snpe/overview.html 通过这套sdk,可以把caffe/tensorflow等平台的模型转成.dlc格式的离线模型，可选地，还可以对模型进行量化、压缩等操作。 通过这套sdk，可以轻松地在高通的gpu/dsp上运行神经网络，充分利用硬件资源。 S...
解锁高通神经处理引擎：SNPE 模型部署与输出验证
可以通过支持 SNPE 的应用程序（使用 SNPE C/C++ API 编写的应用程序）部署模型 DLC（量化或非量化）。（通过 input_list 文件），都会生成一个输出文件夹，其中包含保存为原始文件的输出张量，其大小将与模型的输出层匹配，如下图所示。SNPE SDK 提供 C/C++ API，用于创建/开发可在指定硬件（CPU、GPU 或 HTP）上加速运行模型的应用程序。工具（使用 C API 编写的应用程序），可以加载任意模型 DLC 并在提供的输入上执行它。在此示例中，输出保存到主机上的。
SNPE量化模型
一、简介 在前面我们已经对量化这部分的内容进行了分析，接下来我们将进入SNPE的量化模型对其工作机制进行分析。在SNPE中量化的DLC文件使用网络参数的8位定点表示， 定点表示与Tensorflow量化模型中使用的相同；未量化的DLC文件使用网络参数的32位浮点表示形式。 二、SNPE量化算法 下面我们将介绍量化算法，这些概念由snpe-dlc-quantize使用，并且在使用DSP运行时时，SN...
定点化和模型量化（三）
The Snapdragon Neural Processing Engine (SNPE)是高通骁龙为了加速网络模型设计的框架。但它不只支持高通，SNPE还支持多种硬件平台，ARM平台、Intel平台等。支持的深度学习框架也有包括Caffe、TensorFlow和ONNX等。SNPE可以前向运行模型，但需要先将模型转换为Deep Learning Container (DLC) file才可以加载进SNPE中。
高通开发者论坛

2,853

社区成员

5,758

社区内容

发帖
与我相关
我的任务
社区描述
本论坛以AI、WoS 、XR、IoT、Auto、生成式AI等核心板块组成，为开发者提供便捷及高效的学习和交流平台。 高通开发者专区主页：https://qualcomm.csdn.net/
人工智能物联网机器学习 技术论坛（原bbs） 北京·东城区
社区管理员
  • csdnsqst0050
  • chipseeker
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章