社区
高通开发者论坛
AI 人工智能
帖子详情
高通 QNN 转换大模型时提示算子分片内存溢出,拆分模型后依然内存报错,该如何分层优化模型加载与内存分配?
爱老虎油不如爱loveyou
2026-07-14 09:46:42
高通 QNN 转换大模型时提示算子分片内存溢出,拆分模型后依然内存报错,该如何分层优化模型加载与内存分配?
...全文
15
回复
打赏
收藏
高通 QNN 转换大模型时提示算子分片内存溢出,拆分模型后依然内存报错,该如何分层优化模型加载与内存分配?
高通 QNN 转换大模型时提示算子分片内存溢出,拆分模型后依然内存报错,该如何分层优化模型加载与内存分配?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
避坑指南:
高通
QNN
工具链性能分析常见问题解决方案(含
qnn
-net-run错误排查)
本文为开发者提供了在
高通
平台上进行大
模型
性能分析的完整避坑指南。针对使用
QNN
工具链
时
常见的
qnn
-net-run数据获取失败、profiling级别选择不当、性能数据解析错误以及系统级瓶颈定位等问题,给出了详细的排查步骤与实战解决方案,帮助工程师高效释放硬件潜能。
从 LLaMA-Factory 微调到
高通
NPU 部署: Qwen-0.6B 全链路移植指南
本文详细介绍了将微调后的Qwen-0.6B大
模型
移植到
高通
骁龙NPU的完整流程。主要内容包括:1)从LLaMA-Factory导出微调
模型
;2)将safetensors格式
转换
为PyTorch权重再导出为ONNX;3)针对
高通
NPU进行关键
优化
(Opset版本、静态形状、
模型
简化);4)使用
高通
QNN
工具链将ONNX
模型
编译为NPU可执行的动态库(.so)和上下文二进制文件(.bin);5)在Android端通过
QNN
API集成和验证
模型
。
高通
跃龙QCS6490部署yolov11_obb实战:
QNN
SDK工具链全解析与避坑指南
本文详细解析了在
高通
跃龙QCS6490平台上部署yolov11_obb
模型
的实战过程,重点介绍了
QNN
SDK工具链的使用与
优化
技巧。从环境配置、
模型
转换
到性能调优,提供了全面的避坑指南和DSP加速配置建议,帮助开发者高效实现旋转框检测任务在边缘设备上的部署。
高通
QNN
模型
部署避坑指南:如何正确配置后端、Op包与系统库(Linux/Android/Windows三平台)
本文详细解析了
高通
QNN
模型
在Linux、Android和Windows三大平台上的部署实践,重点解决后端配置、Op包集成与系统库路径等常见问题。通过实战案例和配置技巧,帮助开发者规避兼容性陷阱,提升部署效率,特别适用于使用Qualcomm AI Engine Direct的工程师。
Qualcomm® AI Engine Direct
模型
转换
实战指南:从TensorFlow到
QNN
的完整流程
本文详细介绍了如何使用Qualcomm AI Engine Direct将TensorFlow
模型
转换
为
QNN
格式的完整流程,包括环境搭建、
模型
预处理、
转换
参数配置、量化技巧及性能
优化
。通过实战案例展示如何在
高通
骁龙处理器上实现硬件级加速,显著提升AI
模型
推理效率,适用于智能家居、移动设备等边缘计算场景。
高通开发者论坛
7,646
社区成员
6,360
社区内容
发帖
与我相关
我的任务
高通开发者论坛
本论坛以AI、WoS 、XR、IoT、Auto、生成式AI等核心板块组成,为开发者提供便捷及高效的学习和交流平台。 高通开发者专区主页:https://qualcomm.csdn.net/
复制链接
扫一扫
分享
社区描述
本论坛以AI、WoS 、XR、IoT、Auto、生成式AI等核心板块组成,为开发者提供便捷及高效的学习和交流平台。 高通开发者专区主页:https://qualcomm.csdn.net/
人工智能
物联网
机器学习
技术论坛(原bbs)
北京·东城区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章