ChatGPT参数规模被扒：很可能只有7B（70亿）-CSDN社区

小小鱼儿小小林

全栈领域优质创作者

博客专家认证

2024-03-31 13:27:05

ChatGPT参数规模被扒：很可能只有7B（70亿）

...全文

165 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达梦晨发自凹非寺转载自：量子位（QbitAI）ChatGPT惨遭攻击，参数规模终于被扒出来了——很可能只有7B（70亿）。消息来自南加州大学最新研究，他们使用一种攻击方法，花费不到1000美元就把最新版gpt-3.5-turbo模型的机密给挖了出来。果然，OpenAI不Open，自有别人帮他们Open。具体来说，南加大团队三位...

来源 | 量子位 ID | QbitAIChatGPT惨遭攻击，参数规模终于被扒出来了——（70亿）。消息来自南加州大学最新研究，他们使用一种攻击方法，就把最新版gpt-3.5-turbo模型的机密给挖了出来。果然，OpenAI不Open，自有别人帮他们Open。具体来说，南加大团队三位作者破解出了未公布的gpt-3.5-turbo（embedding size）为4096或4608。而几乎所有已知的开源大模型如Llama和Mistral，嵌入向量维度4096的时候都是约7B参数规模。

来源：机器之心谁都没有想到，ChatGPT 的核心秘密是由这种方式，被微软透露出来的。昨天晚上，很多讨论 AI 的微信群都被一篇 EMNLP 论文和其中的截图突然炸醒。微软一篇题为《CodeFusion: A Pre-trained Diffusion Model for Code Generation》的论文，在做对比的时候透露出了重要信息：ChatGPT 是个「只有」20B（200 亿）参数的...

©PaperWeekly 原创 ·作者 |黄一天单位 |华为研究方向 |自然语言处理由香港科技大学提出的针对闭源大语言模型的对抗蒸馏框架，成功将 ChatGPT 的知识转移到了参数量7B的 LLaMA 模型（命名为 Lion），在只有70k训练数据的情况下，实现了近95% 的 ChatGPT 能力近似。此外，框架的普适性使它不仅可以用于蒸馏 ChatGPT，还可方便地适用于其他闭...

来源：机器之心这合理吗？谁都没有想到，ChatGPT 的核心秘密是由这种方式，被微软透露出来的。昨天晚上，很多讨论 AI 的微信群都被一篇 EMNLP 论文和其中的截图突然炸醒。微软一篇题为《CodeFusion: A Pre-trained Diffusion Model for Code Generation》的论文，在做对比的时候透露出了重要信息：ChatGPT 是个「只有」20B（200 ...

Link人工智能

3,646

社区成员

304

社区内容

发帖

与我相关

我的任务

搜索引擎人工智能个人社区浙江省·杭州市

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

欢迎各位高手分享经验

试试用AI创作助手写篇文章吧

+ 用AI写文章