AI骁龙大赛模型转换指令提问

礼进非 2026-01-21 16:22:29

模型优化指令 [例如：qnn-context-binary-generator --model libmodel.so --backend libQnnHtp.so --output_dir out_bin --binary_file model --config_file htpconfig.json]这里的htpconfig.json在哪里可以参考？

...全文

44 1 打赏收藏转发到动态举报

写回复

用AI写文章

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

创达-技术-李晋 18小时前

打赏
举报

参考一下
https://github.com/quic/ai-hub-apps/tree/main/tutorials/llm_on_genie/configs/genie

上期课程中我们了解了在骁龙 AI PC 上使用 QAI AppBuilder 工具丝滑部署AI模型的核心方法，省流版教程：用户指南：https://github.com/quic/ai-engine-direct-helper/blob/main/docs/user_guide.md开源社区：https://github.com/quic/ai-engine-direct-helperQ1：在使用 QAI AppBuilder 进行模型部署时，如果模型体积较大或计算量较高，有哪些常用的优化手段可以提升在 N

摘要：本文整理了骁龙AI PC上使用QAI AppBuilder部署AI模型的常见问题解答。核心内容包括：1）模型优化建议（量化、多硬件协同）；2）性能验证方法（profiling日志分析）；3）CV模型部署注意事项（数据格式处理）；4）本地与云端部署对比（时延/隐私/成本）；5）多模型资源分配机制（多进程隔离）。特别推荐使用量化技术（FP32转INT8/INT4）来平衡模型大小与性能，并提供了Python API的简化集成方案。适用于希望快速在骁龙设备部署轻量化AI应用的开发者。（149字）

答复：我们的 QAIRT 是支持自定义算子的，正如第一个问题中提到的，只要模型能够通过TensorFlow，PyTorch 或 ONNX Runtime推理，基本都能转换到 NPU 上来运行。答复：请注意， QAI AppBuilder 是专门用来在高通平台的 NPU 上加载模型并进行推理的工作，不支持训练模型或对模型进行蒸馏。坑：最常见的是算子不支持（导致回退CPU，极其缓慢）和量化掉点（精度损失严重，需校准数据调优）。如果模型结构是自定义的（非主流架构），在 NPU 上部署会不会很困难？

答复：通过 LangFlow 调用本地模型，模型本身不会产生额外延迟，但 LangFlow 内部的实现有可能会导致模型的输出不能及时显示到 LangFlow 界面上，这完全取决于 LangFlow 内部的实现。答复：这两个模型，我们在 QAI AppBuilder GitHub (https://github.com/quic/ai-engine-direct-helper) 上正好都有相应的例子，这些例子不需要任何修改，可以直接运行，可以去我们的 GitHub 上获取代码，尝试一下。答复：会有资源竞争。

答复：我们的 QAIRT 是支持自定义算子的，正如第一个问题中提到的，只要模型能够通过TensorFlow，PyTorch 或 ONNX Runtime推理，基本都能转换到 NPU 上来运行。

高通开发者论坛

6,691

社区成员

6,110

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章