高通 AI Edge Box 部署多套生成式 AI 模型，切换模型时出现加载卡顿，该如何优化切换速度？

特雷托 2026-06-10 11:43:05

高通 AI Edge Box 部署多套生成式 AI 模型，切换模型时出现加载卡顿，该如何优化切换速度？

...全文

32 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 06-10 17:03

打赏
举报

回复

采用模型预加载与内存驻留方案，将常用模型常驻内存；利用 QNN 模型分片加载技术，拆分大模型资源按需调取；设置模型后台静默切换机制，避开前台业务高峰，减少切换带来的卡顿与等待时长

本文详解在高通QCS6490平台（AOM-2721）上基于Linux实现AI/ML模型优化部署的完整流程：包括Yocto OS镜像编译与烧录、AI运行时（QIRP）配置、研华Edge AI SDK快速评估、高通AI Hub模型云端适配与本地部署，以及YOLOv5/YOLOv8等开源模型的ONNX→DLC/TFLite量化转换与DSP加速推理。全程聚焦ARM嵌入式Linux环境下边缘AI落地关键技术。

AIEdgeTorch新发布生成式API，助力开发者将PyTorch大语言模型高效部署至TensorFlowLite运行时，无缝集成设备端生成式AI。支持自定义Transformer，兼容TFLite流程，适用于TinyLlama、Phi-2等模型，覆盖Android、iOS和Web平台。

Google AI Edge Gallery 是一款基于Android的开源实验性应用，支持完全离线运行多模态生成式AI模型（图像问答、音频转录、智能对话等）。其核心技术包括LiteRT模型部署、本地多模态推理、实时性能监控（TTFT、解码速度）、隐私优先设计及Hugging Face模型集成。项目面向开发者提供API文档、源码、基准测试工具和自定义模型支持，是探索设备端AI的关键实践平台。

Google AI Edge Gallery是Google AI Edge团队的开源项目，支持Android平台，iOS版本待推出。它有极致离线推理、灵活切换模型等功能，基于Google AI Edge平台等技术构建。适用于隐私敏感场景、开发者模型评测等，可通过APK、GitHub等方式获取。

2025年3月10日，高通宣布收购边缘AI开发平台公司Edge Impulse。这一交易是高通在物联网和人工智能领域的关键布局，补足了其开发者生态、端侧AI工具和工业场景智能化等方面的能力缺口，也预示着边缘AI迈向规模化商用，同时也面临生态整合和竞争加剧等挑战。

高通开发者论坛

7,642

社区成员

6,322

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章