高通 AI HubProfiling介绍

[chipseeker]

  Qualcomm® AI Hub能够帮助开发者能够快速的针对AI模型进行验证，优化以及部署到设备端。通过Qualcomm AI Hub上的Profile任务能够收集到在AI模型再不同的物理设备上运行所需的资源，基于这些关键指标，可以判断出目标的机器是否能够提供AI模型运行需要资源，目前机器的推理时间是否能够达标。

这里有篇介绍AI Hub Profiling细节的文章：Qualcomm AI Hub-Profiling介绍-CSDN博客

下面介绍如何使用AI Hub做模型做Profiling：

1.从高通AI Hub网站下载tflite格式的模型，以yoloV8 为例，模型下载地址：YOLOv8-Detection - Qualcomm® AI Hub

 

 2.用AI Hub的命令运行模型profiling

1）在搭载高通SM8550的手机上运行：qai-hub submit-profile-job --model ./Downloads/Yolo-V8-Detection.tflite --device "Samsung Galaxy S23"  

2）在搭载高通SM8450的手机上运行：qai-hub submit-profile-job --model ./Downloads/Yolo-V8-Detection.tflite --device "Samsung Galaxy S22 5G" --device-os 13 

3）在搭载高通SM8650的手机上运行：qai-hub submit-profile-job --model ./Downloads/Yolo-V8-Detection.tflite --device "Samsung Galaxy S24" --device-os 14 

3.AI Hub的账号里查看profile的结果

4.查看不同设备的不同结果

1）搭载SM8550的手机的结果：

2） 搭载SM8450的手机的结果：

3）搭载SM8650的手机的结果：