仅通过推测解码技术,我的模型将获得哪些性能改进?

天要打雷天要下雨~ 2024-04-25 15:29:15

仅通过推测解码技术,我的模型将获得哪些性能改进?

...全文
83 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
  • 打赏
  • 举报
回复

这取决于很多因素。根据经验,通常可以达到 1.5 倍到 2倍。除了草稿模型的相对容量和推测长度之外,性能改进还取决于提示的类型、完成的性质和应用领域。我们已经看到代码生成模型 - 由于其结构化输出 - 显示出相对更高的速度。 DLM 可以生成的常见“简单”完成将被 TLM 更高的接受率。相对于上下文长度的增加,预计加速会很强劲。

949

社区成员

发帖
与我相关
我的任务
社区描述
为开发者提供高通丰富的解决方案及全面技术下载内容。本版以AI人工智能、WoS移动笔记本、XR、IoT 物联网、Auto 汽车、生成式AI等核心板块组成,为开发者提供一个便捷及高效的学习交流平台。
人工智能物联网机器学习 企业社区 北京·东城区
社区管理员
  • Qualcomm开发
  • csdnsqst0050
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧