高通8155 板端测试量化模型耗时，出现连续多层为0的情况，有影响吗？

JR_Fusion 2023-12-07 12:02:25

板端执行 snpe-net-run 得到运行结果，通过 snpe-diagview 查看耗时，出现连续多层为0.

请问有影响吗？如下

...全文

1748 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

1. 前言这些年来，深度学习在众多领域亮眼的表现使其成为了当今机器学习的主流方法。但其巨大的计算量仍为人诟病。尤其是近几年，随着端设备算力增强，业界涌现出越来越多基于深度神经网络的智能应用。为了弥补算力需求与供给的巨大鸿沟，近几年来模型压缩成为了业界的热点之一。模型压缩又可细分为多个子方向。之前在浅谈端上智能之计算优化中有过一些简单的论述，同时在闲话模型压缩之网络剪枝（Network Pruning）篇中更加具体地整理了些关于网络剪枝（network pruning）的东西，今天就再将目光放到另一类方法上

7月17日，在中国计算机学会计算机应用专业委员会（CCF TCAPP）举办的年度创新技术评选中，小米公司的《小米端侧大语言模型》技术脱颖而出，荣获一等奖。CCF计算机应用专业委员会成立于1978年，是中国计算机学会（CCF）设立的开展计算机应用领域学术活动的主体。作为中国计算机领域最有影响力的学术组织之一，2024年，专委继续开展了CCF 计算机应用年度创新技术、年度创新产品、特别贡献人物、计算机...

在边缘设备上运行大型语言模型（LLMs）引起了相当大的兴趣，因为它们在隐私保护、降低延迟和节省带宽方面具有优势。尽管如此，与功能强大的云计算中心相比，设备本身的有限容量内在地限制了在设备上LLMs的能力。为了弥合基于云的和在设备上的AI之间的差距，移动边缘智能（MEI）提供了一种可行的解决方案，通过在移动网络边缘提供AI能力，与云计算相比具有更好的隐私和延迟表现。MEI介于在设备上的AI和基于云的AI之间，具有无线通信能力，并且比终端设备拥有更强大的计算资源。

随着智能助手需求在智能手机、可穿戴设备等终端侧的快速增长，如何将大规模对话模型（如ChatGLM、Qwen-Turbo、DeepSeek Lite等）有效部署至资源受限的移动平台，已成为 AI 工程落地的关键挑战。本篇将聚焦当前行业主流的手机端部署实践，从模型结构剪枝与量化、国产芯片推理支持、NPU 加速适配、系统资源管理、延迟与功耗优化等方面，逐步剖析整个部署链路的核心难点与解决方案。文中将结合真实的部署案例、终端设备数据、芯片 API 限制等一线经验，输出完整可复用的工程路径，帮助开发者构建稳定、高效、

在评估时，模型先在 held - in 数据集上进行微调，学习特定任务和数据模式，然后在 held - out 数据集上进行测试，处理未见过的数据和任务。常用的评估指标包括准确率，即模型正确回答的问题数量占总问题数量的比例，直观反映模型在封闭集任务上的正确性；CIDEr 分数用于评估图像描述任务中模型生成文本与参考文本的相似程度和相关性，衡量生成文本的质量和信息丰富度。

高通开发者论坛

2,851

社区成员

5,758

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章