高通8155 板端测试量化模型耗时，出现连续多层为0的情况，有影响吗？

JR_Fusion 2023-12-07 12:02:25

板端执行 snpe-net-run 得到运行结果，通过 snpe-diagview 查看耗时，出现连续多层为0.

请问有影响吗？如下

...全文

1811 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

1. 前言这些年来，深度学习在众多领域亮眼的表现使其成为了当今机器学习的主流方法。但其巨大的计算量仍为人诟病。尤其是近几年，随着端设备算力增强，业界涌现出越来越多基于深度神经网络的智能应用。为了弥补算力需求与供给的巨大鸿沟，近几年来模型压缩成为了业界的热点之一。模型压缩又可细分为多个子方向。之前在浅谈端上智能之计算优化中有过一些简单的论述，同时在闲话模型压缩之网络剪枝（Network Pruning）篇中更加具体地整理了些关于网络剪枝（network pruning）的东西，今天就再将目光放到另一类方法上

7月17日，在中国计算机学会计算机应用专业委员会（CCF TCAPP）举办的年度创新技术评选中，小米公司的《小米端侧大语言模型》技术脱颖而出，荣获一等奖。CCF计算机应用专业委员会成立于1978年，是中国计算机学会（CCF）设立的开展计算机应用领域学术活动的主体。作为中国计算机领域最有影响力的学术组织之一，2024年，专委继续开展了CCF 计算机应用年度创新技术、年度创新产品、特别贡献人物、计算机...

在边缘设备上运行大型语言模型（LLMs）引起了相当大的兴趣，因为它们在隐私保护、降低延迟和节省带宽方面具有优势。尽管如此，与功能强大的云计算中心相比，设备本身的有限容量内在地限制了在设备上LLMs的能力。为了弥合基于云的和在设备上的AI之间的差距，移动边缘智能（MEI）提供了一种可行的解决方案，通过在移动网络边缘提供AI能力，与云计算相比具有更好的隐私和延迟表现。MEI介于在设备上的AI和基于云的AI之间，具有无线通信能力，并且比终端设备拥有更强大的计算资源。

ARM Ethos-N 系列 NPU（Neural Processing Unit）作为针对边缘 AI 任务推出的专用神经网络加速器，已广泛应用于各类搭载 Cortex-A 系列 CPU 的 SoC 芯片中。自 Ethos-N77/N57/N37 等主力产品线推出以来，ARM 提供了一套完整的推理加速链路，从 IP 核硬件结构、软件 SDK 到 Android NNAPI 支持，形成了从 SoC 级集成到应用端部署的闭环生态。本文基于 2025 年最新发布的 ARM 官方技术资料与主流芯片厂商的实际部署案例

随着智能助手需求在智能手机、可穿戴设备等终端侧的快速增长，如何将大规模对话模型（如ChatGLM、Qwen-Turbo、DeepSeek Lite等）有效部署至资源受限的移动平台，已成为 AI 工程落地的关键挑战。本篇将聚焦当前行业主流的手机端部署实践，从模型结构剪枝与量化、国产芯片推理支持、NPU 加速适配、系统资源管理、延迟与功耗优化等方面，逐步剖析整个部署链路的核心难点与解决方案。文中将结合真实的部署案例、终端设备数据、芯片 API 限制等一线经验，输出完整可复用的工程路径，帮助开发者构建稳定、高效、

高通开发者论坛

4,657

社区成员

5,842

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章