赢在起跑线，初始权重提升技巧

敏S 2023-01-13 01:33:04

课时名称	课时知识点
赢在起跑线，初始权重提升技巧	赢在起跑线，初始权重提升技巧

...全文

83 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

例如LSTM第一个单元权重矩阵正交化，预训教词向量，还有各种权重矩阵初始化的技巧。想问的就是反正最后都得拟合了，初始化的意义何在？为了更快收敛还是对效…显示全部也说说我的看法，神经网络要优化一个非常复杂的非线性模型，而且基本没有全局最优解，初始化在其中扮演着非常重要的作用，尤其在没有BN等技术的早期，它直接影响模型能否收敛。下面从几个方向来说，参考龙鹏：【AI初识境】什么是深度学习成功的开始？参数初始化 01 初始化的重要性 2006年Hinton等人在science期刊上发表...

在实践中，权重是否合理的进行了初始化，决定着模型的很多走向，比如模型算法离最优解的距离远近或方向是否准确、是否会出现梯度爆炸或梯度消失从而导致训练无法收敛、同等效果下需要花多长时间来训练等。合理的权重初始化会让模型算法梯度更加正常且更加容易到达全局最优解。同样反过来，不合理权重初始化很容易让模型算法出现梯度问题，让模型算法陷入局部最优解导致训练失败等。炼丹知识点：模型评估里的陷阱炼丹知识点...

改进后的MCWD算法，让你的弱标注多标签数据赢在起跑线上前言MCWD算法算法展示算法改进实现代码实验结果总结前言最近刷完了李航老师的《统计学习与方法》，手痒到又想复现几个算法，正好碰上在云音乐的云村视频标签运维标注不完全问题，也算是弱标注数据吧，之前这比数据作了多标签分类，尽管特征上线后各项数据都有所提升，但总感觉用神经网络直接对弱标签数据进行多标签分类很不舒服。基于以下两个思考点：存在标签缺失的问题，神经网络的意识在于我竟可能相信你给我的数据都是准确的，某个样本有某个标签是准确的，没有某个标.

小数据救星：用无标注文本为模型注入基础语言知识，解决随机初始化的盲目性。平滑过渡：预训练权重通过无缝衔接正式训练，无需复杂迁移步骤。灵活适配：两种目标覆盖不同场景，字符级适合 “白手起家”，向量级适合 “站在巨人肩膀”。在实践中，建议先从字符级目标开始尝试，用 JSONL 格式准备几千句原始文本，跑通基础流程。遇到内存问题时，记得调整和max_length。当模型在验证集上的收敛速度明显加快，你就会真正体会到预训练的价值 —— 原来模型真的可以 “赢在起跑线”。

文章首发于微信公众号《有三AI》【AI初识境】什么是深度学习成功的开始？参数初始化这是《AI初识境》第5篇，这次我们说说初始化。所谓初识，就是对相关技术有基本了解，掌握了基本的使用方法。神经网络要优化一个非常复杂的非线性模型，而且基本没有全局最优解，初始化在其中扮演着非常重要的作用，尤其在没有BN等技术的早期，它直接影响模型能否收敛。可以说万事开头难，没有好的初始化的深度学习模型训...

郑逊敏的课程社区_NO_1

1

社区成员

32

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章