[语言模型] ChatRWKV

幻灰龙 2023-02-14 10:01:52

ChatRWKV，类似ChatGPT 的开源工具，基于RWKV (100% RNN) 语言模型。RWKV 是作者魔改RNN而来，自我介绍为看齐transformer性能的纯RNN，梯度可以无限走，也能并行化，拥有RNN和transformer的所有优点。
地址：g-i-t-hub.com/BlinkDL/ChatRWKV
具体可参考作者在知乎的介绍：http://t.cn/A69sI9IJ

...全文

375 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

ChatRWKV类似于ChatGPT，但由RWKV (100% RNN)语言模型提供支持，并且是开源的.zip

rwkv-x060-7b-world-v3-70%trained-20241018-ctx4k.pth rwkv-x060-OnlyForChnNovel_小说扩写-14B-20240806-ctx4096.pth rwkv-x060-OnlyForChnNovel_小说扩写-1B6-20240827-ctx4096.pth rwkv-x060-OnlyForChnNovel_小说扩写-3B-20240827-ctx4096.pth rwkv-x060-OnlyForChnNovel_小说扩写-7B-20240806-ctx4096.pth rwkv-x060-chn_single_round_qa-14B-20240516-ctx2048.pth rwkv-x060-chn_single_round_qa-1B6-20240516-ctx2048.pth 等一共20个文件

最近在get the Hobb上看到了一个名为CHATr w k v的项目，它是一个类似于叉的g p t的语言模型，可以提供续写和简单的对话问答功能，基于作者的r w k v模型实现，好像是魔改的r n n。项目使用的是酷是p y touch，虽然没有很多依赖，但至少对于我这样的拍摄开发人员的电脑来说，没有让我去额外pip什么酷，拉下来就跑起来了。项目首页提供了几个不同大小的模型，最大的模型是14B，但他没有放在这里。然后是7B、3B、1.5B的模型，小的模型效果会差一些，但能节省存储空间。14B的那个模型需要28G的存储空间，但作者说最终能优化到7G左右，但那是未来的计划，所以我现在只有一张卡，今天就只能试试这个7B，然后只要14G的存储空间就能使用这个模型。现在运行起来试一下，程序版本是前两天的模型，是0116的那个中英文模型，我现在使用的控制台模式，所以为了看得清我加了点代码，让用户输入的字符是蓝色的，程序输出是绿色的，然后我放大了控制台的字体，这样能看得更清楚，不过可能会有点影响排版，凑合看吧。

基于大模型(ChatGLM2-6B, RWKV)+langchain+streamlit的PDF问答，摘要，信息抽取.zip

13 款最佳开源 ChatGPT 替代品

自然语言处理(NLP)

689

社区成员

192

社区内容

发帖

与我相关

我的任务

算法推荐算法人工智能个人社区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

自然语言处理实战。

试试用AI创作助手写篇文章吧

+ 用AI写文章