除了常规算子融合、量化外，QAIRT 2025 在编译器上是否有独特优化策略？

[nomomoly]

除了常规算子融合、量化外，QAIRT 2025 在编译器上是否有独特优化策略？

[weixin_38498942]

QAIRT 2025编译器有4项独特优化，适配端侧LLM/多模态：

1. GENIE专属编译：针对Transformer的KV缓存预分配、前缀缓存融合，降低推理延迟，配合自推测解码/前瞻解码提升吞吐；
2. 低功耗块量化+HTP后端深度绑定：INT4/FP16混合精度编译，按硬件切片分配算子，减少NPU - CPU数据搬运；
3. 内存布局优化：DAG - 感知的张量重排，对齐NPU访存粒度，禁用动态维度避免碎片化；
4. 上下文二进制预编译：离线生成NPU可执行Context - Binary，规避端侧实时编译开销，用qnn - context - binary - utility验证硬件适配。
   核心坑规避：锁定骁龙8 Gen2+，优先官方验证算子，用qnn - net - run --profile排查内存/延迟瓶颈。