如何在我自己的手机上运行AI Hub上下载的模型

yxmas1 2024-03-22 11:14:35

我从AI Hub上下了一个模型，也能在云上的8Gen2机器上跑。

我如何才能在我自己的手机上跑这个模型呢？

需不需要root, 能不能写一个step by step的教程？

如果不能的话，能不能写个如何在你们的RB5或者AI BOX上跑的step by step的教程。

谢谢

...全文

1592 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

chipseeker 2024-03-27

打赏
举报

回复

高通 AI Hub github上更新了Android test app，目前支持Image classification ，image super resolution
https://github.com/quic/ai-hub-models/tree/main/apps/android

Ricky技术随想 2024-03-25

打赏
举报

回复

@yxmas1
目前AI Hub的模型列表提供的是tflite格式或者高通 AI engine direct (QNN) 的格式，如果需要在手机上运行tflite，可以参考这个Android App运行
https://github.com/tensorflow/examples/tree/master/lite/examples/object_detection/android

目前AI-Hub暂时只支持的Andriod，其它系统将会陆续上线

如今，“移动AI”已成为快速发展的趋势。智能手机变得更加强大，大型机型变得更加高效。有些客户可能想等到手机制造商添加新功能，但我们可以自己使用最新的人工智能模型吗？确实，我们可以，而且结果很有趣。在本文中，我将展示如何在 Android 手机上运行 LLaMA 和 Gemma 大语言模型，我们将了解它是如何工作的。像往常一样，在我的所有测试中，所有模型都将在本地运行，并且不需要云 API 或付款。让我们开始吧！

Qualcomm AI Hub提供了部署在云端边缘物理设备执行模型推理的任务，让你能够快速的评估在真实硬件上模型推理的精度和性能。本文介绍了如何使用AI Hub提供的接口在云端设备执行推理。

上述脚本优化了设备上执行的模型，在云托管的高通平台设备上分析了模型，在设备上运行了模型，并比较了基于本地CPU的PyTorch运行和设备上运行的准确性。最后，您可以在设备上运行推理的完整演示。Models是一组最先进的机器学习模型，针对性能进行了优化，可部署在Qualcomm平台设备上。您可以探索针对视觉、语音、文本和生成性AI应用程序的设备部署进行优化的模型。的简单示例，可以轻松导出并部署在设备上。有关更多详细信息，请参阅。在设备外验证后，您可以在几分钟内在托管的高通平台设备上运行此模型。

Qualcomm AI Hub有助于在设备上优化、验证和部署机器学习模型，用于视觉、音频和语音用例。AI Hub上的配置文件衡量在各种物理设备上运行优化模型所需的资源。它收集的指标是专门为帮助您确定模型是否符合您的时间和内存预算而设计的。

高通在2024年世界移动通信大会（MWC2024）上发布高通AI Hub，使用AI Hub 极大的简化了AI 模型部署到边缘设备的过程。只需要几分钟，通过AI-hub云端托管的 Qualcomm 设备上快速优化、验证和部署您自己的 AI 模型。

高通开发者论坛

3,362

社区成员

5,796

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章