Whisper模型QNN推理安卓实现

_方落落_ 2025-05-20 15:46:02

按照官方开源实现了 https://github.com/quic/qidk/tree/master/Solutions/NLPSolution3-AutomaticSpeechRecognition-Whisper

测试高通whisper模型snpe加载在QCS6490上延迟还比较高，一次推理需要耗时250ms左右。高通github社区是否可以提供whisper 模型在qnn推理实现的apk demo?

另外目前whisper decode模型没有在TfLite delegate上启用推理加速，TfLite delegate是否可以在QCS6490上支持HTP加速，是否提供示例？

...全文

246 3 打赏收藏转发到动态举报

写回复

用AI写文章

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 05-22

打赏
举报

我做过whisper 转成qnn，在8550 htp上跑过，6490不确定

_方落落_ 05-22

@weixin_38498942 感谢回复！请问是否可以更新下demo到qidk的solution。6490关于whisper qnn native的支持我也向formus论坛提出相关的讨论，但是高通目前似乎没有计划提供whisper qnn实现参考，请问下您这边有什么建议？

weixin_38498942 08-06

@_方落落_ 可以等高通官方后续更新

对于在windows与cpu下，对whisper语音模型进行微调，并进行评估，推理。针对在微调与推理过程中出现的错误，已经在本文中有相关解决方法。按照文件中所给数据集的形式，可以根据自身需求对自己的数据进行处理，放到模型即可完成微调。可以根据自身的需要进行设置GPU、分布式训练资源进行微调。在此工程中的数据集较小，且选择的模型为whisper-tiny，已经下载到本地，如有需求，可以进行下载较大的模型。可以根据我的文章《关于hugginface模型在本地的使用，此处以语音文件为例》进行下载相关的模型。

OpenAI的Whisper自动语音识别（ASR）模型的高性能推理：无依赖关系的纯C/C++实现 Apple Silicon一流公民-通过ARM NEON、Accelerate框架、Metal和Core ML进行优化对x86体系结构的AVX内部支持对POWER体系结构的VSX内部支持 F16/F32混合精度支持4位和5位整数量化运行时内存分配为零支持仅CPU推理 NVIDIA的高效GPU支持通过CLBlast部分支持OpenCL GPU OpenVINO支持 C型API 支持的平台： Mac操作系统（Intel和Arm） iOS 安卓 java语言 Linux/FreeBSD WebAssembly Windows（MSVC和MinGW] 树莓派码头工人该模型的整个高级实现包含在whirsper.h和whirsper.cpp中。其余代码是ggml机器学习库的一部分。拥有这种轻量级的模型实现可以很容易地将其集成到不同的平台和应用程序中。举个例子，这里有一段在iPhone 13设备上运行该型号的视频——完全离线

Faster-Whisper使用CTranslate2重新实现了OpenAI的Whisper模型，CTranslate2是Transformer模型的快速推理引擎。这种实现比openai/whisper在使用更少内存的情况下达到相同精度的4倍。对于需要高效Transformer模型推理的项目，faster-whisper是一个性能优秀的选择。

项目主要程序介绍 aishell.py：制作AIShell训练数据。 finetune.py：微调模型。 merge_lora.py：合并Whisper和Lora的模型。 evaluation.py：评估使用微调后的模型或者Whisper原模型。 infer_tfs.py：使用transformers直接调用微调后的模型或者Whisper原模型预测，只适合推理短音频。 infer_ct2.py：使用转换为CTranslate2的模型预测，主要参考这个程序用法。 infer_gui.py：有GUI界面操作，使用转换为CTranslate2的模型预测。 infer_server.py：使用转换为CTranslate2的模型部署到服务器端，提供给客户端调用。 convert-ggml.py：转换模型为GGML格式模型，给Android应用或者Windows应用使用。 AndroidDemo：该目录存放的是部署模型到Android的源码。 WhisperDesktop：该目录存放的是Windows桌面应用的程序

ggml-tiny.bin 是 Whisper 语音识别模型的一个轻量级版本，基于 GGML 格式（一种为 CPU 优化的量化模型格式）。以下是详细说明： 1. 模型背景 Whisper 是 OpenAI 开源的自动语音识别（ASR）系统，支持多语言转录和翻译。 GGML 是一个专注于 CPU 推理的 tensor 库，支持量化（如 4-bit、5-bit 等），显著减少模型体积和内存占用。 2. ggml-tiny.bin 特点轻量化：tiny 是 Whisper 的最小版本，参数量少（约 39M），适合低算力设备（如树莓派、手机等）。量化版本：.bin 文件通常是 GGML 格式的量化模型，可能为 4-bit 或 5-bit，牺牲少量精度以提升推理速度。功能：支持基础语音转录，但准确率低于大模型（如 base、small）。 3. 使用场景嵌入式设备或移动端离线语音识别。快速原型开发或对延迟敏感的应用。 4. 如何使用依赖工具：需搭配 whisper.cpp 或类似支持 GGML 的推理库。示例命令（假设已安装 whisper.cpp）： ./main -m models/ggml-tiny.bin -f input.wav 5. 局限性准确率较低，尤其对复杂口音或背景噪声敏感。仅支持转录，无翻译功能（除非额外微调）。如需更高精度，可考虑 ggml-base.bin 或 ggml-small.bin。模型文件通常从开源社区（如 Hugging Face）获取。怎样使用可以参考：https://blog.csdn.net/qq_33906319/article/details/147320987?sharetype=blogdetail&sharerId=147320987&sharerefer=PC&sharesource=qq_3390631

高通开发者论坛

4,659

社区成员

5,848

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章