骁龙大赛复赛线上答疑闭门会第2期｜ Q&A 汇总

[极市平台]

一、 模型更新与资源动态

Q1：近期有哪些新模型上线？

• Qwen2.5-VL-3B：已发布。支持图像描述、分析与问答，具备 OCR 文字提取与物体识别能力。【查看详情：https://www.aidevhome.com/?id=55】
• BGE-Base-Zh-V1.5：已发布。适用于 RAG 场景的语义检索，参数规模小，响应快。【查看详情：https://www.aidevhome.com/?id=54】
• 后续计划：将陆续更新 Reranker 模型和 Qwen3-Embedding 模型（目前 Embedding 暂未适配，建议先使用 BGE 模型）
• 下载地址：模型广场 (https://www.aidevhome.com/?id=51)

 

二、 技术疑难解答 (Q&A)

Q2：使用 Ollama 下载模型，配合 Docker 和 RagFlow 部署本地知识库时，RagFlow 安装失败或无法连接，如何解决？

A2：解决方案：

RagFlow 运行在 Docker 内部，可能存在网络隔离问题；且 RagFlow 资源占用较大，易导致资源不足。主要从以下几个方面来尝试调整：

1. 网络配置：确保容器内的 RagFlow 能 Ping 通宿主机的 Ollama 端口，如修改 Ollama 的监听地址，允许外部连接。
2. 资源管理：建议先使用轻量级的 Embedding 模型进行流程验证，确保 Docker 资源分配充足。
3. 流程排查：按照“Ollama 拉取模型 -> 上传文档 -> 解析模式（等待 Success 标志）-> 调整相似度阈值”的顺序排查。

 

Q3：自动化脚本（QAI AppBuilder Launcher）默认下载的是 SDK 2.38 版本，是否支持最新的 SDK 2.42？

A3：自动化脚本主要面向初学者或快速体验场景。

• 对于开发者：推荐手动部署。如果您需要使用 SDK 2.42 的新特性，请直接从 GitHub Release 页面下载对应的 .whl 包或 C++ 二进制包进行安装，无需依赖自动化脚本。
• 版本差异：SDK 2.42 的 Python 扩展包已内置运行时库（Runtime Libraries），初始化时不再需要强制指定库路径（可设为 Null），系统会自动在安装包路径下查找，部署更加便捷。

 

Q4：在 Windows 上使用 x64 Python 时无法调用 NPU，或者使用 ARM64 Python 无法安装部分库，如何选择？

A4：x64 Python是可以调用模型在NPU上推理的，对于 初学者，建议优先使用 x64 架构的 Python。

• 配置关键：
  • 若使用 x64 Python，需调用 lib\arm64x-windows-msvc 目录下的库（底层会自动桥接到 ARM64 后端）。
  • 若使用 ARM64 Python，则需调用 lib\aarch64-windows-msvc (Windows MSVC) 库。
  • 注意：如果 x64 Python 仍无法调度 NPU，请检查底层依赖路径是否正确配置。
• 如果使用最新版本，则不需要手动配置上边提到的库：
  • ARM64 Python: qai_appbuilder-2.42.0.73-cp312-cp312-win_arm64.whl
  • X64 Python: qai_appbuilder-2.42.0.73-cp312-cp312-win_amd64.whl

 

 

Q5：调用 Qwen2.5-VL 时，报错 user content is not a object（JSON 列表不兼容），无法处理多模态输入？

A5：这个报错情况通常出现在使用旧版GenieAPIService服务接口。旧版启用的服务端对 OpenAI 格式的 content 字段解析仅支持字符串或特定对象，尚未完全适配多模态（Text + Image URL）的 JSON Array 格式。经过更新，新版本已经支持，可以去release界面重新下载。项目代码samples/genie/c++也在持续更新。

 

Q6：如何查看 NPU 的占用率？

A6：目前 Demo 代码未提供直接输出占用率的 API。可以直接打开 Windows 任务管理器 -> 性能 -> NPU 选项卡 进行实时监测。

 

三、 特定模型部署指南

1. Qwen2.5-VL-3B 部署教程

• Windows：

1. 下载模型至 python/models 目录。
2. 下载GenieAPIService_v2.1.4_QAIRT_v2.42.0_v73.zip 启动包。
3. 直接运行启动脚本（已打包环境，无需额外配置 Python 后端）。
4. 接口注意：Demo 示例目前支持本地图片推理和网页 URL 图片。启动服务可以使用-p 指定另一个端口。为了使用不同的模型，在调用传递模型参数的时候修改名字，一个端口可以使用不同的 LLM 和 vl。

• Android：

1. 将模型推送到设备 sdcard/GenieModels 对应目录。
2. 安装 GenieChat APK 和 GenieAPIService APK。
3. 注：Android 端源码及 APK 已在文档中心提供，支持对源码进行二次开发以适配更多功能。

• 实例教程：https://www.aidevhome.com/?id=55
• GenieChat源码：https://www.aidevhome.com/?id=50

 

2. BGE-Base-Zh-V1.5 (Embedding) 部署教程

• Windows：
  • 需配置后端库（SDK 2.41+）。
  • 将 QnnHtp.dll, QnnSystem.dll 等依赖库复制到 qai_libs 目录。
  • 使用 qai_appbuilder 进行构建和推理。
• Android：
  • 需参考 Android Developer Help 文档，使用 qai_appbuilder 编译 libqnn_htp.so 等后端库。
  • 将库文件放置在 jniLibs/arm64-v8a 目录下。
  • 使用 Java 包中的 BgeProcessor 进行前处理和后处理。
• 实例教程：https://www.aidevhome.com/?id=54

 

四、 更多支持

• 技术论坛：https://bbs.csdn.net/forums/qualcomm?typeId=9305416（开发中遇到问题请在此提交反馈）。
• 高频问答合集：https://bbs.csdn.net/topics/620009560
• 教程视频：B站及 CSDN 均有关于 QAI AppBuilder、QAIRT SDK 的系列教程。
  • B站：https://space.bilibili.com/85300886/upload/video
  • CSDN：https://bbs.csdn.net/topics/619992533