如果我拥有比参数多得多的数据量、或过拟合可以被允许的情况下有必要做数据正则化？

财富自由终极目标 2022-01-27 10:05:24

如果我拥有比参数多得多的数据量、或过拟合可以被允许的情况下有必要做数据正则化？

...全文

1935 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2022-01-27

打赏
举报

回复

即便如此，仍旧有必要添加dropout或其他形式的噪声，正则化的基本方法是在网络层之间添加dropout，设置从中到高的训练概率。例如0.75或0.9。如果你仍然认为不太可能出现过拟合，可以将此参数设置为较高的值例如0.99。

本文主要对神经网络中的过拟合现象及其改进方法进行介绍。首先介绍什么事过拟合及过拟合带来的问题，其次提出检测和改进过拟合的方法。具体的改进方法包括增加真实或者人工生成的实验数据、减小网络规模和正则化，具体介绍了L_2正则化、L_1正则化、Dropout三种主要的正则化方法。最后从实际经验出发定性的分析了为什么正则化可以减小过拟合的问题，

过度拟合是指机器学习中的一种情况，其中模型在训练数据上表现得非常好，但无法很好地推广到新的、未见过的数据。训练集用于更新模型的参数，而验证集用于评估模型在未见过的数据上的性能。正则化用于防止过度拟合，当模型在训练数据上表现良好但无法推广到新的、未见过的数据时，就会发生过度拟合。在推理过程中，使用完整的网络，但丢弃的单元的权重按保留的概率进行缩放。正则化是机器学习中用于防止过度拟合的技术，当模型变得过于复杂并且在训练数据上表现良好但无法推广到新的、未见过的数据时，就会发生过度拟合。

加入了 dropout 后，输入的特征都存在被随机清除的可能，所以该神经元不会再特别依赖于任何一个输入特征，也就是不会给任何一个输入特征设置太大的权重。通过传播过程，dropout 将产生和 L2 正则化相同的收缩权重的效果。对于不同的层，设置的keep_prob大小也不一致，神经元较少的层，会设keep_prob为 1.0，而神经元多的层则会设置比较小的keep_prob通常被使用在计算机视觉领域，图像拥有更多的特征，场景容易过拟合，效果被实验人员证明是很不错的。

深度学习模型调优的正则化方法

在机器学习中，模型过于复杂可能导致过拟合（Overfitting），即在训练数据上表现优异，但在新数据上预测能力下降。这是科研人员在建模时常遇到的挑战。正则化是一种有效手段，可以限制模型复杂度，提升泛化能力。本文将介绍过拟合的成因、正则化的原理，并通过Python代码展示其实践方法。想了解更多机器学习难题，可访问。二、过拟合的成因与表现表现上，过拟合模型在训练集上误差很低，但在测试集上误差显著升高。更多过拟合分析，可参考。三、实践：正则化解决过拟合。

高通开发者论坛

2,851

社区成员

5,758

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章