部署7B以内的端侧大模型时，Prompt变长后首Token延迟明显上升，如何在高通平台定位瓶颈？

[夏日出逃计划]

部署7B以内的端侧大模型时，Prompt变长后首Token延迟明显上升，如何在高通平台定位瓶颈？
 

[weixin_38498942]

建议按“分层计时+硬件利用率”定位：
1）拆分Tokenizer、Prefill、Decode三个阶段分别计时；
2）用高通性能分析工具查看NPU/GPU利用率与内存带宽占用；
3）检查KV Cache是否发生频繁重分配；
4）确认Prompt模板是否引入冗余上下文。
常见卡点是Prefill阶段受限于内存带宽而非算力，可通过更激进量化、减少无效上下文、开启分页KV Cache来降低首Token延迟。