加速边缘侧的生成式AI的发展

chipseeker 2024-01-02 16:19:16
加精

随着 ChatGPT等LLM模型,Stable Diffusion,Midjourney等LVM模型火爆,生成式AI大模型浪潮席卷全球。

国际上OpenAI的chatgpt4 , Google的Gemini ,Meta的Llama,国内国内,包括百度、阿里巴巴、百川智能及智谱AI在内的一众大厂和创新公司也在不断发力追赶国外进度。

然而这些LLM/LVM大模型的部署和运行,动辄就是部署在云端大算力的GPU加速卡,普通的开发者有心无力。

生成式AI与边缘侧、终端侧设备相结合,降低运行成本、加快响应速度,对于生成式AI的商业落地有着重要促进作用。高通的SOCNPU、GPU和CPU,正在力推生成式AI浪潮从云端向边缘与终端侧延伸。

 

基于高通SOC的Fast Stable Diffusion能够在一秒内生成图像 

 

基于高通SOC的Llama2的AI 助手最快能达到20 tokens/s

 

 

具体的内容和demo详见以下链接

Accelerating generative AI at the edge | Knowledge distillation & Quantization | Qualcomm

...全文
606 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
prajina99 01-11
  • 打赏
  • 举报
回复

可以跑开源的CPU版本的LLM-ggml?

956

社区成员

发帖
与我相关
我的任务
社区描述
为开发者提供高通丰富的解决方案及全面技术下载内容。本版以AI人工智能、WoS移动笔记本、XR、IoT 物联网、Auto 汽车、生成式AI等核心板块组成,为开发者提供一个便捷及高效的学习交流平台。
人工智能物联网机器学习 企业社区 北京·东城区
社区管理员
  • Qualcomm开发
  • csdnsqst0050
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧