微软、英伟达团队发布全球最大的生成语言模型MT-NLG

[OneFlow深度学习框架]

#微软、英伟达团队发布全球最大的生成语言模型MT-NLG# ，具有5300亿个参数，比#GPT-3# 大3倍。MT-NLG在阅读理解、常识推理、自然语言推理、词义消歧等一系列自然语言任务中表现出极佳的准确性。具有105个layer、基于Transformer的 MT-NLG 在零样本、单样本和少样本设置中改进了当前的SOTA模型，并在模型规模和质量上为#大规模语言模型#设定了新标准。https://developer.nvidia.com/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/