高通平台上运行大型LLM（如Llama 2）需要注意哪些资源限制？

LegendNoTitle 2025-05-13 11:01:07

近期尝试在移动平台部署Llama 2模型，用于本地文本生成。遇到内存占用高、电池消耗快等问题。请问在骁龙平台上部署大模型，有哪些优化策略？比如量化、裁剪，或者调用高通的AI SDK能否解决这些问题？

...全文
121 回复 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
大模型LLM | Llama3.2来了！支持多模态！手机也能用！
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
Meta发布Llama 2，开源且免费商用！
还有更惊喜的消息，高通和Meta宣布，Llama将于2024年开始支持在高通芯片手机和电脑上运行！相比今年2月发布的Llama 1，Llama 2的训练数据多了整整40%，而且上下文长度还翻倍了！他们还采用了分组查询注意力机制！现在，我们已经可以在微软Azure上使用Llama 2了，未来还将登陆AWS、Hugging Face和其他平台！】Meta宣布发布了超厉害的大模型Llama 2，而且居然是免费的，还可以商用！Llama 2包含了三个尺寸的模型，分别是70亿、130亿和700亿参数的模型！
LLM推理技术之StreamingLLM：如何拥有无限长生成能力
作者|方佳瑞整理|NewBeeNLPhttps://zhuanlan.zhihu.com/p/659875511后台留言『交流』，加入 NewBee算法讨论组当前，大型语言模型（LLM）在推理时只能记住有限的上下文。例如，LLama2只能处理4K的上下文，这不仅导致其无法记住超过最近4K上文的内容，而且在生成文本达到4K时就会停止。理想的AI对话助手可以不受输出长度的限制，并且需要记住历...
如何在 Android 手机上运行 Llama 3.2，使用 Ollama 在 Android 上运行 Llama 3.2 和其他大型模型的分步指南
在刚刚落下帷幕的 Meta 开发者大会上，Llama 3.2 惊艳亮相，这次不仅拥有多模态能力，还与 Arm 等公司合作，推出了专门针对高通、联发科硬件优化的“移动”版本。具体来说，Meta 发布了四种型号的 Llama 3.2：具有 110 亿和 900 亿个参数的多模态版本具有 10 亿和 30 亿个参数的轻量级纯文本模型据官方数据显示，Llama 3.2 11B与90B已展现出超越同等尺寸闭源型号的性能。
Introducing Meta Llama 3: The most capable openly available LLM to date
我们希望解决开发人员的反馈，以提高 Llama 3 的整体实用性，并在这样做的同时继续在负责任地使用和部署 LLMs.我们正在接受尽早发布的开源精神，并经常发布，以使社区能够在这些模型仍在开发中时访问它们。在不久的将来，我们的目标是使 Llama 3 成为多语言和多模态的，具有更长的上下文，并继续提高推理和编码等核心LLM功能的整体性能。我们新的 8B 和 70B 参数 Llama 3 模型是 Llama 2 的重大飞跃，并为LLM这些规模的模型建立了新的最先进的技术。
高通开发者论坛

2,851

社区成员

5,756

社区内容

发帖
与我相关
我的任务
社区描述
本论坛以AI、WoS 、XR、IoT、Auto、生成式AI等核心板块组成，为开发者提供便捷及高效的学习和交流平台。 高通开发者专区主页：https://qualcomm.csdn.net/
人工智能物联网机器学习 技术论坛（原bbs） 北京·东城区
社区管理员
  • csdnsqst0050
  • chipseeker
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章