在骁龙平台上运行生成式 AI 模型（如 Stable Diffusion）的主要性能优化手段有哪些？

[摄影毁三代]

在骁龙平台上运行生成式 AI 模型（如 Stable Diffusion）的主要性能优化手段有哪些？

[weixin_38498942]

结合 Diffusion 模型架构特点与 Qualcomm 硬件优势，核心优化手段聚焦 “核心模块加速、计算量削减、硬件效率最大化”，具体包括：
核心模块全量 offload 到 Hexagon NPU：将 Diffusion 模型中计算占比最高的 U-Net 模块（80%+ 计算量）完全部署到 Hexagon NPU，大幅减少 CPU/GPU 参与，降低功耗与发热，同时释放 GPU 资源用于 VAE 解码或 UI 渲染。
削减推理步骤与计算量：针对 Stable Diffusion Turbo 等轻量化变体，将标准 SD 的 50 步推理压缩至 14 步，性能提升 1050 倍，无需牺牲核心生成质量即可实现极速响应。
量化与精度优化：启用 INT8 量化（QAT/PTQ）或 FP16 混合精度推理，借助 Qualcomm QNN 加速引擎提升吞吐率，同时减少内存占用（INT8 量化可降低显存需求约 75%），SD 的 U-Net、VAE 模块可安全适配该优化。
图像分辨率动态缩放：根据端侧应用场景（如 256px~512px 主流需求）动态调整输入分辨率，显著降低 U-Net 输入维度，减少计算量与推理延迟，平衡生成质量与实时性。
图优化与算子融合：通过 ExecuTorch 自动应用算子融合、节点合并等优化，减少 kernel 调用开销；结合 Hexagon NPU 特化优化（如卷积融合、LayerNorm 融合），进一步提升硬件计算效率。
硬件后端合理分配：按模块特性分配运行单元 ——Text Encoder 运行于 CPU/NPU，VAE Decoder 运行于 GPU/NPU，Scheduler 运行于 CPU，避免单一硬件过载，优化全链路 latency。