[问题] Snapdragon 8 Gen 2/3硬件是否支持稀疏模型加速？

[weixin_41719218]

我想了解Snapdragon 8 Gen 2/3设备上对稀疏模型加速的硬件级支持，特别是在CPU、GPU和AI加速器(NPU/DSP)方面。这些平台是否为稀疏神经网络提供原生硬件加速，比如N:M稀疏模式或随机稀疏？

我注意到AIMET支持模型剪枝，但我不清楚Snapdragon底层硬件是否能有效利用这种稀疏性。如果硬件本身不原生支持稀疏加速，是否有专为Snapdragon平台设计的框架或库，能够高效执行稀疏模型并带来实际的性能提升？

具体来说，我希望了解：

1. Snapdragon 8 Gen 2/3上哪些处理单元(CPU/GPU/NPU/DSP)对稀疏模型有硬件级支持
2. 支持哪些稀疏模式(结构化N:M稀疏、非结构化随机稀疏等)
3. 如果硬件支持有限，有哪些软件解决方案可以在这些设备上有效运行稀疏模型

非常感谢任何关于在Snapdragon平台上实际实现模型稀疏性及其性能优势的见解。

[weixin_38498942]

硬件级支持情况

• CPU：没有明确资料表明Snapdragon 8 Gen 2/3的CPU对稀疏模型有直接的硬件级支持。但在一些情况下，通过软件框架的优化，CPU可以利用其通用计算能力来处理稀疏模型。例如，在PowerInfer - 2.0框架中，对于解码阶段，由于其具有较高的稀疏性，会划分成若干细粒度的神经元簇，交给CPU灵活调度和执行计算。
• GPU：同样没有公开信息显示Snapdragon 8 Gen 2/3的GPU原生支持稀疏模型加速以及特定的稀疏模式。不过，GPU在处理一些大规模数据并行计算任务时具有优势，对于经过优化的稀疏模型，如果能将其计算任务有效地映射到GPU上，可能会获得一定的性能提升，但这通常需要软件框架的支持和优化。
• AI加速器（NPU）：也没有明确说明NPU对稀疏模型的硬件级支持。但骁龙平台不断提升AI性能，如骁龙8 Gen 2的Hexagon处理器引入INT4精度支持，能效和推理性能大幅提升，这为稀疏模型在NPU上的运行提供了一定的有利条件。因为稀疏模型量化后可能会采用类似INT4这样的低精度格式，而NPU对低精度计算的支持有助于提高稀疏模型的推理效率。

支持的稀疏模式

目前没有确切信息表明Snapdragon 8 Gen 2/3的硬件直接支持结构化N:M稀疏或非结构化随机稀疏等特定稀疏模式。

软件解决方案

• AIMET：可以进行模型剪枝，生成稀疏模型，但需要底层硬件的配合来发挥其优势。虽然不确定Snapdragon底层硬件能在多大程度上直接利用其稀疏性，但结合其他优化措施，可能会有一定效果。
• PowerInfer - 2.0：是上海交大IPADS实验室推出的面向手机的大模型推理引擎。它利用了稀疏模型推理时“稀疏激活”的特点，把整个神经网络中的神经元分成冷、热两种，并在内存中基于LRU策略维护一个神经元缓存池。同时，针对手机硬件平台存在CPU、GPU、NPU三种异构计算单元的特点，为模型推理的预填充阶段和解码阶段分别设计了两套神经元簇的划分方案，以充分利用不同计算单元的优势，提高推理效率。
• Turbo Sparse：是与PowerInfer - 2.0配套的大模型优化技术。通过在ReLU基础上提出dReLU激活函数，采用替换原有激活函数后继续预训练的方式增加模型稀疏性，不仅大幅提升模型的稀疏度，还能保持住模型原本的能力，有助于在PowerInfer - 2.0框架下更高效地运行稀疏模型。