骁龙 AI PC 搭配 Adreno 显卡做 AI 绘图本地部署，如何把 Stable Diffusion 的 VAE、UNet 分别下沉至 NPU 与 GPU 实现异构加速？

[摄影毁三代]

骁龙 AI PC 搭配 Adreno 显卡做 AI 绘图本地部署，如何把 Stable Diffusion 的 VAE、UNet 分别下沉至 NPU 与 GPU 实现异构加速？

[老杨261]

异构分工策略
UNet 迭代次数多、张量计算密集，下沉 Hexagon NPU 执行，发挥端侧 AI 算力优势；
VAE 解码偏重图形采样运算，交由 Adreno GPU 运行，减少 NPU 算力占用；
依靠高通 UDC 统一内存架构完成 NPU 与 GPU 之间的数据互通，规避 CPU 拷贝耗时。
实现步骤
将 SD 模型拆分 UNet、VAE 两个独立模块，分别导出 ONNX；
UNet 使用 QNN 转换部署至 HTP NPU，VAE 通过 OpenCL 部署在 Adreno；
搭建异步调度管线，UNet 迭代推理完成后直接在共享内存写入特征图，GPU 读取特征解码出图片。
调度核心示例代码
python
运行
from qnn_backend import QnnUNetRunner
from adreno_vae import AdrenoVAERunner

分别初始化两个硬件后端

unet_npu = QnnUNetRunner(model_path="unet_sd.dlc", backend="htp")
vae_gpu = AdrenoVAERunner()

def sd_generate(prompt, steps=20):
latent = init_latent()
for _ in range(steps):
# NPU执行UNet降噪
latent = unet_npu.infer(latent, prompt_embedding)
# GPU直接读取共享内存中的latent完成解码
img = vae_gpu.decode_shared_mem(latent)
return img
优化补充
模型转换时开启--udc_shared_memory参数打通异构内存，整体出图速度相比全部 CPU 运行可提升 3~5 倍，同时控制整机功耗不会过高。