DeepMind提出了一种增强型自回归语言模型

[OneFlow深度学习框架]

#DeepMind# 提出了#RETRO# （检索增强Transformer），这是一种增强型自回归语言模型，该模型以从大型语料库中检索的文档块为条件，它在 Pile 数据集上实现了与#GPT-3# 和 Jurassic-1 相当的性能，同时使用的参数减少了 25 倍。论文：https://arxiv.org/abs/2112.04426