高通支持Meta Llama 3在骁龙终端上运行

chipseeker 2024-04-24 09:36:45
加精

高通最近宣布支持Meta Llama3在骁龙平台实现终端侧执行

  • 高通和Meta合作优化Meta Llama 3大语言模型,支持在未来的骁龙旗舰平台上实现终端侧执行。
  • 开发者将能够访问高通AI Hub中的资源和工具,以实现在骁龙平台上优化运行Llama 3,从而缩短产品上市时间并充分发挥终端侧AI的优势。
  • 高通技术公司的终端侧AI能力包括行业领先的NPU、CPU和GPU技术组合,赋能生成式AI应用实现即时性、增强的可靠性、隐私性、情境感知个性化和成本效益。

具体的信息参考:Qualcomm-美国高通公司官方网站

 

 

Llama3相对Llama2做了以下的技术更新:

1)改进的Transformer架构

Llama 3 模型计算部分的代码和Llama2是一模一样的,也就是主干decoder only,用到了RoPE、SwiGLU、GQA等具体技术,并在 Llama 2 的基础上进行了关键改进。模型使用了 128K (Llama2 32K) 标记词汇表,提高了语言编码的效率,显著提升了性能。Llama3 采用了8K的context window,训练时输入的序列长度增大,推理能支持的序列长度增大(Llama2 4K)。 

2)分组查询注意力(Grouped Query Attention)

Llama 3 引入了分组查询注意力 (GQA),并在 8,192 个标记的- 分组查询注意力(GQA)序列上训练模型,降低了从内存中读取的数据量,所以也就减少了计算单元等待时间,提高了计算利用率,从而提高了模型的推理效率。

 

 

...全文
540 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

971

社区成员

发帖
与我相关
我的任务
社区描述
本论坛以AI、WoS 、XR、IoT、Auto、生成式AI等核心板块组成,为开发者提供便捷及高效的学习和交流平台。 高通开发者专区主页:https://qualcomm.csdn.net/
人工智能物联网机器学习 技术论坛(原bbs) 北京·东城区
社区管理员
  • csdnsqst0050
  • chipseeker
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧