在高通边缘平台上同时跑多个 AI 模型时，HTP 资源如何分配，多模型调度有哪些常见坑？

[德牧是最帅的]

在高通边缘平台上同时跑多个 AI 模型时，HTP 资源如何分配，多模型调度有哪些常见坑？
 

[weixin_38498942]

HTP 资源通常按硬件并发能力、队列优先级和内存占用进行调度。多模型部署时首先要确认平台支持的 HTP 并发队列数量，避免每个模型都独占一个高优先级队列导致资源争抢。其次关注内存占用，多个模型同时加载会占用 VTCM 和 DDR，若 VTCM 不足，部分算子会 spill 到 DDR，性能明显下降。第三注意模型加载时机，建议按业务重要性错峰加载，而不是同时初始化所有模型。第四关注前后处理是否成为瓶颈，很多系统看起来是 HTP 慢，实际是 CPU 预处理和后处理拖尾。可通过：
qnn-profile-viewer --session your_session.json
查看各模型在 HTP 上的时间片、等待队列和内存占用。参考文档：高通 HTP 多模型并发部署与调度说明。

[weixin_38498942]

HTP 资源通常按硬件并发能力、队列优先级和内存占用进行调度。多模型部署时首先要确认平台支持的 HTP 并发队列数量，避免每个模型都独占一个高优先级队列导致资源争抢。其次关注内存占用，多个模型同时加载会占用 VTCM 和 DDR，若 VTCM 不足，部分算子会 spill 到 DDR，性能明显下降。第三注意模型加载时机，建议按业务重要性错峰加载，而不是同时初始化所有模型。第四关注前后处理是否成为瓶颈，很多系统看起来是 HTP 慢，实际是 CPU 预处理和后处理拖尾。可通过：
qnn-profile-viewer --session your_session.json
查看各模型在 HTP 上的时间片、等待队列和内存占用。参考文档：高通 HTP 多模型并发部署与调度说明。