Whisper模型QNN推理安卓实现

_方落落_ 2025-05-20 15:46:02

按照官方开源实现了 https://github.com/quic/qidk/tree/master/Solutions/NLPSolution3-AutomaticSpeechRecognition-Whisper

测试高通whisper模型snpe加载在QCS6490上延迟还比较高，一次推理需要耗时250ms左右。高通github社区是否可以提供whisper 模型在qnn推理实现的apk demo?

另外目前whisper decode模型没有在TfLite delegate上启用推理加速，TfLite delegate是否可以在QCS6490上支持HTP加速，是否提供示例？

...全文

208 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 05-22

打赏
举报

回复

我做过whisper 转成qnn，在8550 htp上跑过，6490不确定

_方落落_ 05-22

举报

回复

@weixin_38498942 感谢回复！请问是否可以更新下demo到qidk的solution。6490关于whisper qnn native的支持我也向formus论坛提出相关的讨论，但是高通目前似乎没有计划提供whisper qnn实现参考，请问下您这边有什么建议？

提供较低级别、高度可定制的统一API，通过单独的库加速所有AI加速器核心上的AI模型, 可以直接用于针对特定的加速器核心或从流行的运行时（包括Qualcomm Neural Processing SDK、TensorFlow Lite和ONNX运行时）委派工作负载。一个支持异构计算、系统级配置的一体化SDK，旨在将AI工作负载引导到我们平台上的所有加速器核心。为开发人员提供灵活性，包括核心间协作支持和其他高级功能。是一个为训练好的神经网络模型提供高级量化和压缩技术的库。

DirectML作为Windows Copilot Runtime的一个关键基础组件，简化了开发人员如何通过一个跨硬件的DirectX API来扩展其AI创新，该API提供安全、一致和高性能，适用于各种硬件架构。通过此开发者预览版本，DirectML针对新的Snapdragon X系列设备的NPU，并运行为NPU加速优化的机器学习模型。Qualcomm Hexagon NPU在DirectML中的支持仍在进行中，我们渴望听取您的反馈，并从您的经验中学习。这些是错误消息，将在未来的版本中修复。

随着终端 AI 能力在操作系统层级的持续演进，Android 系统通过 AI Core（即基于 NNAPI 和设备后端的推理加速框架）逐步成为移动设备智能推理的主力执行平台。无论是语音助手、图像识别，还是多模态大模型运行，AI Core 都承担了关键的计算调度与异构执行角色。本文将深入剖析 Android AI Core 的核心架构、运行机制与主流模型支持体系，并结合国产 SoC 加速器（如寒武纪、昇腾、联发科 APU、海思 NPU 等）分析其与硬件协同路径，最终形成完整的模型部署与推理加速实战指南。

Transformer 是**自然语言处理（NLP）**领域的核心模型，解决了 RNN 不能并行计算的缺点。扩散模型（Diffusion Models）是一种用于图像生成和合成的深度学习模型，核心思想借鉴了。量子计算（Quantum Computing）结合 AI，利用。（RGB 图像），经过多个卷积层、池化层和全连接层后，输出。生物计算（Biocomputing）结合 AI，利用。维的向量（用于分类 10 个类别）。等行业变革，未来将更加智能化和高效。等技术深度融合，彻底改变人类社会。

大型基础模型，包括大语言模型（LLMs）、视觉Transformer（ViTs）、扩散模型以及基于大语言模型的多模态模型，正在革新整个机器学习的生命周期，从训练到部署都受到影响。然而，这些模型在通用性和性能方面的显著提升，是以大量的硬件资源为代价的。为了以一种可扩展且环境可持续的方式支持这些大型模型的发展，开发资源高效的策略成为了研究重点。本综述深入探讨了此类研究的关键重要性，从算法和系统两个方面进行研究。它综合分析了现有文献中的相关内容，并从中获取了有价值的见解，涵盖了从前沿模型架构、训练/服务算法

高通开发者论坛

3,012

社区成员

5,791

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章