设备端跑多模态或个性化的 GenAI 应用时，延迟有时候会比较高。有没有推荐的优化方法？比如模型拆分、缓存策略、或者 Python API 的调用方式有没有最佳实践？

[Llehevo]

设备端跑多模态或个性化的 GenAI 应用时，延迟有时候会比较高。这个有没有推荐的优化方法？比如模型拆分、缓存策略、或者 Python API 的调用方式有没有最佳实践？求解答

[weixin_38498942]

有，端侧多模态/个性化GenAI延迟优化核心有4类最佳实践：

1. 模型层：优先INT4/FP16量化+算子融合，多模态模型拆分UNet/LLM到NPU/HTP异构执行，裁剪非核心层（如SD仅保留关键注意力头）；
2. 缓存策略：用DeepCache缓存多模态特征/KV缓存，个性化场景预加载用户微调适配器，避免重复初始化；
3. API调用：QAIRT Python API用异步调用（async/await）替代同步，批量处理输入，禁用实时日志打印减少IO开销；
4. 调度层：NPU/HTP独占调度，关闭后台进程，多模态任务按优先级串行执行（如先LLM文本理解再SD生图）。
   骁龙8 Gen3上按此优化，多模态延迟可降40%-60%。
   化与响应速度。