如何在 Qualcomm® Cloud AI 100 上利用推测解码 (SpD) 和微缩放 (MX) 格式将 LLM 解码性能提高四倍

[weixin_32413029]

如何在 Qualcomm® Cloud AI 100 上利用推测解码 (SpD) 和微缩放 (MX) 格式将 LLM 解码性能提高四倍
 

[weixin_38498942]

1. 将待解码视频转换成MX格式，获取MX格式的视频文件。
2. 将MX格式的视频文件放置到Qualcomm® Cloud AI 100的存储空间中。
3. 配置AI 100的编解码器，使其支持MX格式。
4. 在AI 100上利用推测解码和微缩放格式进行视频解码。
5. 比较MX格式和传统LLM格式的解码性能，可以发现MX格式能够提高LLM解码性能四倍。
6. 推测采样 (SpS)也称为推测解码 (SpD) 和通过 MXFP6 微缩放格式进行权重压缩，这两种先进技术可显着提高 LLM 推理 AI 工作负载的大语言模型 (LLM) 解码速度。这两种技术均可用于 Qualcomm Technologies 数据中心 AI 加速器上的 LLM 加速。