[语言模型] ChatRWKV

幻灰龙 2023-02-14 10:01:52

ChatRWKV，类似ChatGPT 的开源工具，基于RWKV (100% RNN) 语言模型。RWKV 是作者魔改RNN而来，自我介绍为看齐transformer性能的纯RNN，梯度可以无限走，也能并行化，拥有RNN和transformer的所有优点。
地址：g-i-t-hub.com/BlinkDL/ChatRWKV
具体可参考作者在知乎的介绍：http://t.cn/A69sI9IJ

...全文

361 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

ChatRWKV类似于ChatGPT，但由RWKV (100% RNN)语言模型提供支持，并且是开源的.zip

最近在get the Hobb上看到了一个名为CHATr w k v的项目，它是一个类似于叉的g p t的语言模型，可以提供续写和简单的对话问答功能，基于作者的r w k v模型实现，好像是魔改的r n n。项目使用的是酷是p y touch，虽然没有很多依赖，但至少对于我这样的拍摄开发人员的电脑来说，没有让我去额外pip什么酷，拉下来就跑起来了。项目首页提供了几个不同大小的模型，最大的模型是14B，但他没有放在这里。然后是7B、3B、1.5B的模型，小的模型效果会差一些，但能节省存储空间。14B的那个模型需要28G的存储空间，但作者说最终能优化到7G左右，但那是未来的计划，所以我现在只有一张卡，今天就只能试试这个7B，然后只要14G的存储空间就能使用这个模型。现在运行起来试一下，程序版本是前两天的模型，是0116的那个中英文模型，我现在使用的控制台模式，所以为了看得清我加了点代码，让用户输入的字符是蓝色的，程序输出是绿色的，然后我放大了控制台的字体，这样能看得更清楚，不过可能会有点影响排版，凑合看吧。

♥ 本课程主要是分享当前分享当下爆火的【大规模语言模型】背后的原理、发展轨迹、常见使用场景、实际应用技巧与优化方法，由业内技术大牛，行业及实战经验丰富的讲师进行技术分享。♥ 7月12日起连续5场系列赋能直播，每周三20：00开始直播；课程详情可查看直播链接，直播结束次日无限回看。 ♥ 直播课程安排：直播时间直播大纲7月12日初探大规模语言模型的神秘世界1.何为大规模语言模型：基本定义与功能2.大规模语言模型的常见使用场景3.如何有效地使用大规模语言模型：使用原则与基本方法4.小结5.录播回放 7月19日掌握大规模语言模型的高级应用1.深入理解Prompt：含义、作用与优化技巧2.API应用与插件：介绍通过API调用大规模语言模型以及插件功能3.示例分析：通过实例学习和理解如何在实际场景中应用这些高级功能4.小结5.录播回放 7月26日探索大规模语言模型的原理与发展轨迹1.语言模型背后的秘密：基本原理与技术2.从过去到现在：大规模语言模型的发展历程3.洞察未来：大规模语言模型的发展趋势和可能性4.小结5.录播回放8月2日创建自己的大规模语言模型1.训练前的准备：数据准备，预处理与工具的选择2.迈出第一步：如何训练你的第一个大规模语言模型3.训练之后：模型评估、优化和持续更新4.小结5.录播回放8月16日构建垂直领域的大规模语言模型1.垂直领域与通用模型的对比：了解差异与优势2.如何构建垂直领域的大规模语言模型：数据收集，模型训练与优化3.实例：构建一个特定行业（如医疗、法律等）的语言模型4.小结 5.录播回放

探秘创新语言模型：ChatRWKV - 强大的RNN对话助手项目地址:https://gitcode.com/BlinkDL/ChatRWKV ChatRWKV 是一个独特的开源项目，它挑战了传统观念，证明了循环神经网络（RNN）也可以与变换器模型相媲美，在质量和可扩展性上不落下风，同时在速度和内存效率方面更胜一筹。这个项目由稳定性团队EleutherAI赞助，并且它的最新版本——RWKV-6 ...

Large Language Model (LLM) 即大规模语言模型，是一种基于深度学习的自然语言处理模型，它能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。所谓"语言模型"，就是只用来处理语言文字（或者符号体系）的 AI 模型，发现其中的规律，可以根据提示 (prompt)，自动生成符合这些规律的内容。LLM 通常基于神经网络模型，使用大规模的语料库进行训练，比如使用互联网上的海量文本数据。

自然语言处理(NLP)

682

社区成员

192

社区内容

发帖

与我相关

我的任务

算法推荐算法人工智能个人社区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

自然语言处理实战。

试试用AI创作助手写篇文章吧

+ 用AI写文章