现在有自己微调的模型想转换到qnn，我先转换为onnx了，但是qnn转换工具提示不支持opset16

super111654 2026-03-12 17:29:35

现在有自己微调的模型想转换到qnn，我先转换为onnx了，但是qnn转换工具提示不支持opset16

...全文

14 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

极市平台 03-12 17:32

打赏
举报

回复

先不要用工具，使用网站Https://workbench.aihub.qualcomm.com/docs/hub/compile_examples.html
参照这个网站然后在
https://workbench.aihub.qualcomm.com/jobs/
查看转换日志

本文详细介绍了将微调后的Qwen-0.6B大模型移植到高通骁龙NPU的完整流程。主要内容包括：1）从LLaMA-Factory导出微调模型；2）将safetensors格式转换为PyTorch权重再导出为ONNX；3）针对高通NPU进行关键优化（Opset版本、静态形状、模型简化）；4）使用高通QNN工具链将ONNX模型编译为NPU可执行的动态库(.so)和上下文二进制文件(.bin)；5）在Android端通过QNN API集成和验证模型。

工业级部署的核心不是单一技术，而是工具链整合能力量化压缩：TensorRT实现3倍加速跨平台适配：ONNX打通框架壁垒服务化封装：Triton提升资源利用率当你在Jetson边缘设备看到YOLO实时渲染的姿态骨架，当千亿级大模型在消费级GPU流畅对话——这，就是部署工程师的高光时刻。资源推荐TensorRT-LLM官方示例- 大模型优化方案ONNX模型库- 预验证工业模型MMDeploy部署工具- 开源模型一键部署部署不是终点，而是AI价值爆发的起点。掌握工具，更要理解其背后的设计哲学。

解决模型部署中精度与速度的平衡难题，详解量化感知训练的 ONNX 实现方法，覆盖 PyTorch 到 ONNX 的全流程转换技巧，提升推理速度达3倍且精度不掉队，适用于边缘端高效部署，值得收藏。

高通AI引擎SDK助力YOLOv8模型在骁龙平台高效部署摘要：本文介绍了利用高通AI Engine Direct SDK将YOLOv8人脸检测模型部署到骁龙平台的全流程。通过AIMET模型优化技术，开发者可将PyTorch模型转换为ONNX格式，再使用QNN工具链生成适用于骁龙CPU/GPU/NPU加速的DLL文件。在搭载骁龙X Elite的AI PC上测试显示，该方案实现了高效的人脸检测功能，并支持图像和实时摄像头输入。文中详细提供了环境配置、模型转换、性能分析和可视化测试的完整代码与步骤。

本文详细介绍了在高通QCS8550平台上部署YOLO11-seg实例分割模型的完整实战流程。通过AIMO平台将PyTorch模型转换为QNN格式并进行INT8量化，利用AidLite SDK在NPU上实现加速推理。文章对比了FP16与INT8模型的性能，为工业质检等边缘AI应用提供了从模型转换、部署到性能调优的一站式解决方案。

高通开发者论坛

7,152

社区成员

6,191

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章