SNPE基准性能时间包括模型量化还是去量化?

玛上8年 2022-06-08 14:33:05

SNPE基准性能时间包括模型量化还是去量化?

...全文

2023 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2022-06-09

打赏
举报

回复

不是。模型量化或去量化只做一次-在设置期间。

下面我们来继续SNPE基准测试概述。 CSV 1：配置这一部分包含有关以下内容的信息：用于生成基准运行的SDK版本型号名称和DLC文件的路径为基准测试选择的运行时等等 CSV 2：初始化指标这一部分包含有关模型初始化的度量。分析级别会影响收集的测量值。没有收集用于分析的指标。基本指标和详细指标如下所示。分析级别：基本加载度量加载模型元数据所需的时间。反序列化测量反序列化模型缓冲区所需的时间。创建度量用于创建SNPE网络并初始化给定模型的所有层所花费的时间。可以将分析级别设置为“详细

模型量化已成为加速深度学习推理的必不可少的技术。尽管研究人员不断推进量化算法的前沿，但现有的量化工作往往难以复现和部署。这是因为研究人员没有选择一致的训练流程，并忽视了硬件部署的要求。在这项工作中，我们提出了模型量化基准（MQBench），这是首次尝试评估、分析和基准测试模型量化算法的可复现性和可部署性。我们选择了多个不同的平台进行实际部署，包括CPU、GPU、ASIC、DSP，并在统一的训练流程下评估广泛的先进量化算法。MQBench充当算法与硬件之间的桥梁。

SNPE教程：高效利用高通SNPE推理引擎进行目标检测项目地址:https://gitcode.com/gh_mirrors/sn/SNPE_Tutorial 项目介绍 SNPE Tutorial 是一个专注于高通Snapdragon Neural Processing Engine（SNPE）推理引擎的开源项目，由@RicardoLu开发。该项目旨在帮助开发者从模型转换到应用部署，全面掌握基于...

模型训练是在流行的深度学习框架上进行的（高通®神经处理SDK支持PyTorch、TFLite、ONNX和TensorFlow模型。）训练完成后，训练后的模型被转换为DLC文件，可以加载到高通®神经加工SDK运行时中。调用 snpe-dlc-quant 和 snpe-dlc-graph-prepare（用于向后兼容）将网络模型转换为可由Qualcomm®神经处理SDK加载的DLC文件。可选地量化DLC文件，以便在Hexagon DSP上运行。使用Qualcomm®神经处理SDK运行时加载并执行模型。

如果开发就是使用的C++，那比较容易实现用户定义层，但如果是运行在Android上，开发者需要将上层java代码通过JNI方式来调用NPE原生的C++编译好的.so文件，因为用户定义层的代码是不可能预先编译到NPE原生.so文件中的，必须重新开发NPE的JNI。NPE SDK提供了模型转换和执行工具，以及针对核的API，利用功率和性能配置文件匹配所需的用户体验，优化和节约开发人员的时间和精力。转换工具将输出转换信息，包括有关不受支持或非加速层的信息，开发者可以使用这些信息调整初始模型的设计。

高通开发者论坛

2,853

社区成员

5,758

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章