[语言模型] nanoGPT

幻灰龙 2023-02-14 10:03:59

【nanoGPT：用于训练/微调中型GPT的最简单、最快的代码库，minGPT的改进版】’nanoGPT - The simplest, fastest repository for training/finetuning medium-sized GPTs.' by Andrej Karpathy GitHub: g-i-t-hub.com/karpathy/nanoGPT

...全文
171 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
大规模语言模型应用实战之系列直播课
♥  本课程主要是分享当前分享当下爆火的【大规模语言模型】背后的原理、发展轨迹、常见使用场景、实际应用技巧与优化方法，由业内技术大牛，行业及实战经验丰富的讲师进行技术分享。♥  7月12日起连续5场系列赋能直播，每周三20：00开始直播；课程详情可查看直播链接，直播结束次日无限回看。 ♥  直播课程安排：直播时间直播大纲7月12日初探大规模语言模型的神秘世界1.何为大规模语言模型：基本定义与功能2.大规模语言模型的常见使用场景3.如何有效地使用大规模语言模型：使用原则与基本方法4.小结5.录播回放 7月19日掌握大规模语言模型的高级应用1.深入理解Prompt：含义、作用与优化技巧2.API应用与插件：介绍通过API调用大规模语言模型以及插件功能3.示例分析：通过实例学习和理解如何在实际场景中应用这些高级功能4.小结5.录播回放 7月26日探索大规模语言模型的原理与发展轨迹1.语言模型背后的秘密：基本原理与技术2.从过去到现在：大规模语言模型的发展历程3.洞察未来：大规模语言模型的发展趋势和可能性4.小结5.录播回放8月2日创建自己的大规模语言模型1.训练前的准备：数据准备，预处理与工具的选择2.迈出第一步：如何训练你的第一个大规模语言模型3.训练之后：模型评估、优化和持续更新4.小结5.录播回放8月16日构建垂直领域的大规模语言模型1.垂直领域与通用模型的对比：了解差异与优势2.如何构建垂直领域的大规模语言模型：数据收集，模型训练与优化3.实例：构建一个特定行业（如医疗、法律等）的语言模型4.小结 5.录播回放
本地部署 nanoGPT
本地部署 nanoGPT
GPT系列简介与gpt训练（nanoGPT）
GPT系列简介与gpt训练（nanoGPT）
迷你版ChatGPT开源，教你怎么用nanoGPT训练一个写小说的AI机器人！
ChatGPT的功能确实是好用，但是我觉得有一个小缺点，就是反应的时间比较慢，原因是GPT-3.5/GPT-4.0的模型体积较大，比较占用内存空间。大家好，我是千与千寻，好久不见，最近太忙了，去医院拔了颗智齿，这不是刚休息一天，就立刻来给大家分享ChatGPT的新奇项目了。向稚晖君学习，我自己也是这么学过来的，我在官方Demo的基础之上，做了一个使用nanoGPT训练一个写唐诗的机器人模型。今天给大家带来的项目是nanoGPT模型，他是minGPT模型的重写，但是比minGPT模型的体积更小，性能更好！
AI TIME PhD自然语言处理专题：融合知识的预训练语言模型
预训练语言模型是近年来自然语言处理领域的热门话题，以BERT为代表的预训练模型在下游任务上取得了很好的效果。在本次报告中，讲者将梳理融合知识的预训练语言模型的研究进展与典型问题，并对于预训练模型学到了哪些知识、又需要哪些知识进行讨论。
自然语言处理(NLP)

571

社区成员

184

社区内容

发帖
与我相关
我的任务
社区描述
自然语言处理实战，讨论算法、模型、服务、应用。请具体描述问题，提出问题。
算法推荐算法人工智能 个人社区
社区管理员
  • community_282
  • SoftwareTeacher
  • Alexxinlu
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告

自然语言处理实战。

试试用AI创作助手写篇文章吧

+ 用AI写文章