微软、英伟达团队发布全球最大的生成语言模型MT-NLG

OneFlow深度学习框架 2021-10-12 11:09:37

#微软、英伟达团队发布全球最大的生成语言模型MT-NLG# ,具有5300亿个参数,比#GPT-3# 大3倍。MT-NLG在阅读理解、常识推理、自然语言推理、词义消歧等一系列自然语言任务中表现出极佳的准确性。具有105个layer、基于Transformer的 MT-NLG 在零样本、单样本和少样本设置中改进了当前的SOTA模型,并在模型规模和质量上为#大规模语言模型#设定了新标准。https://developer.nvidia.com/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/

 

...全文
131 点赞 收藏 回复
写回复
回复
切换为时间正序
请发表友善的回复…
发表回复

还没有回复,快来抢沙发~

相关推荐
发帖
OneFlow深度学习框架
创建于2021-07-12

142

社区成员

不止于成为世界上最快的开源深度学习框架
帖子事件
创建了帖子
2021-10-12 11:09
社区公告
暂无公告