仅通过推测解码技术，我的模型将获得哪些性能改进?

[天要打雷天要下雨~]

仅通过推测解码技术，我的模型将获得哪些性能改进?

[weixin_38498942]

这取决于很多因素。根据经验，通常可以达到 1.5 倍到 2倍。除了草稿模型的相对容量和推测长度之外，性能改进还取决于提示的类型、完成的性质和应用领域。我们已经看到代码生成模型 - 由于其结构化输出 - 显示出相对更高的速度。 DLM 可以生成的常见“简单”完成将被 TLM 更高的接受率。相对于上下文长度的增加，预计加速会很强劲。