假设我们拿到了一个“参数正好的模型”，那到底该如何训练呢？

weixin_28747029 2021-12-09 15:54:58

假设我们拿到了一个“参数正好的模型”，那到底该如何训练呢？

...全文

1963 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2021-12-09

打赏
举报

回复

一个参数正好的稀疏神经网络是可以成功训练的，其诀窍不在参数初始化，而是如何在压缩模型后的稀疏子空间中求解的能力。

原文：https://baijiahao.baidu.com/s?id=1760862056681517207&wfr=spider&for=pc自 2022 年 11 月底 ChatGPT 发布以来，大模型的热度持续发酵，相信高屋建瓴的讨论大家已经看了很多了。今天我们选择从实用角度，分别就算力、算法、工程、数据和团队等方向讨论了训练一个千亿参数量级的大语言模型和ChatGPT需要些什么，希望能够给正在尝试拥抱大模型的业务决策者和技术人员一些有价值的参考。主持人：Kiwi，AI 领域投资人本期嘉宾介绍：冠叔

大家通常会问，大模型训练为什么一定要用A100，用4090难道不行吗？先说结论，大模型的训练用 4090 是不行的，但推理（inference/serving）用 4090 不仅可行，在性价比上还能比 H100 稍高。4090 如果极致优化，性价比甚至可以达到 H100 的 2 倍。事实上，H100/A100 和 4090 最大的区别就在通信和内存上，算力差距不大。H100A1004090Tens...

自 2022 年 11 月底 ChatGPT 发布以来，大模型的热度持续发酵，相信高屋建瓴的讨论大家已经看了很多了。今天我们选择从实用角度，分别就算力、算法、工程、数据和团队等方向讨论了训练一个千亿参数量级的大语言模型和 ChatGPT 需要些什么，希望能够给正在尝试拥抱大模型的业务决策者和技术人员一些有价值的参考。主持人：Kiwi，AI 领域投资人本期嘉宾介绍：冠叔，野路子 AI 产品经理，操盘过大量 AI 业务龙老师，大模型算法工程师，开源过超过 20 个预训练模型算法欣然，AI 全栈工程师，做过芯片、

通过上述的讲解，对图像预训练做个总结（可参照上图）：对于一个具有少量数据的任务 A，首先通过一个现有的大量数据搭建一个 CNN 模型 A，由于 CNN的浅层学到的特征通用性特别强，因此在搭建一个 CNN 模型 B，其中模型 B 的浅层参数使用模型 A 的浅层参数，模型 B 的高层参数随机初始化，然后通过冻结或微调的方式利用任务 A 的数据训练模型 B，模型 B 就是对应任务 A 的模型。这其实是 Bert 的非常大的优点，这意味着它几乎可以做任何NLP的下游任务，具备普适性，这是很强的。

如果运行了上面的代码，那么其实两个关键数据（网络模型结构、训练的权重）就已经在内存中了，主要存在model中，因为刚刚就是训练的它，程序还没有关闭，它还是活的。如果某次你训练了2天数据，还没有结束，但是你要提着鸡蛋去走亲戚，因为没有人看护服务器，你需要先暂停。刚刚耗费了200个小时，认识了30万张狗狗的图片，并计算出了他们的特征，能够轻松分辨出哈士奇和狼，结果计算机一断电，它又空白了。这时，你可以新建一个文件单纯只做识别的任务，因为训练好的信息已经存储到json和h5里了，你读取出来使用就可以了。

高通开发者论坛

2,852

社区成员

5,758

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章