[语言模型] nanoGPT

幻灰龙 2023-02-14 10:03:59

【nanoGPT：用于训练/微调中型GPT的最简单、最快的代码库，minGPT的改进版】’nanoGPT - The simplest, fastest repository for training/finetuning medium-sized GPTs.' by Andrej Karpathy GitHub: g-i-t-hub.com/karpathy/nanoGPT

...全文

287 回复打赏收藏转发到动态举报

写回复

用AI写文章

切换为时间正序

请发表友善的回复…

发表回复

gpt模型是一种强大的自然语言生成模型，使用深度学习技术，特别是基于Transformer的架构。纳米级可能意味着该项目旨在提高模型的效率，减少计算资源的需求。 2. 项目的复制和修改：这表明所涉及的活动可能是复制...

GPT是深度学习领域中一种基于Transformer架构的语言模型，由OpenAI公司开发，最初主要用于自然语言处理任务，如文本生成、对话系统和机器翻译。描述中的“最简单、最快的存储库”意味着这个项目通过优化代码和算法...

GPT（Generative Pre-trained Transformer）是OpenAI开发的一种基于Transformer架构的语言模型，它能生成连贯的文本。在这个场景中，"Python_训练微调中型gpt的最简单、最快的存储库.zip" 提供了一个专门用于训练和...

GPT（Generative Pre-trained Transformer）是OpenAI推出的一种预训练语言模型，它能够生成连贯的文本，尤其在自然语言处理任务中表现出色。Python作为目前最流行的编程语言之一，为构建这样的模型提供了强大的工具...

你会发现这个文件是一个稍微调整过的nanoGPT，是我早期的一个项目。目前，llm.c比PyTorch Nightly快一点（大约7%）。除了train_gpt2.cu中最前沿的主线代码外，我们还有一个简单的参考CPU fp32实现，在一个文件train_...

自然语言处理(NLP)

691

社区成员

193

社区内容

发帖

与我相关

我的任务

算法推荐算法人工智能个人社区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

自然语言处理实战。

试试用AI创作助手写篇文章吧

+ 用AI写文章