13过拟合

博客专家认证

2023-01-12 14:43:01

课时名称	课时知识点
13过拟合	13过拟合

...全文

33 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

用C语言实现多项式的拟合，采用最小二乘法，数据精度在e-13数量级，拟合循环最大次数为50。matlab默认精度e-9，。

所以这时候就用L1-lasso回归解决过拟合问题，λ越大（λ越敏感）这一坨对结果影响就越大，在不断迭代过程中，由于不断接近最低点，所以绿色的两坨都在不断的减小，而蓝色这坨里面的|Ki|是在不断增大（为了避免减小的步伐太大了，是一个。通俗理解原理：由于下山的时候步长可能过大，会出现走到第6步的时候，离最低点已经很近了但还没到最低点，这时候再走一步到第7点那个位置，发现这一步误差比上一步更大了，因此选择上一步为迭代的终点。(|Ki|)，其中λ是一个自己来定的常数(正数)，λ越大后面这坨小尾巴的影响效果就越大。.

一个在训练数据上不能获得很好的拟合，在训练集数据以外的数据集上也不能很好的拟合数据，此时认为这个假设出现了欠拟合的现象(模型过于简单)原因：模型学习到样本的特征太少解决：增加样本的特征数量(多项式回归)一个假设在训练数据上能够获得比其他假设更好的拟合，但是在训练数据以外的数据集上却不能很好的拟合数据，此时认为这个假设出现了过拟合现象(模型过于复杂)原因：原始特征过多，存在一些嘈杂特征解决：进行特征选择，消除关联性大的特征(难做)；正则化之邻回归。

1.5 欠拟合和过拟合 欠拟合（Underfitting）：选择的模型过于简单，以致于模型对训练集和未知数据的预测都很差的现象。 过拟合（Overfitting）：选择的模型过于复杂（所包含的参数过多），以致于模型对训练集的预测很好，但对未知数据预测很差的现象（泛化能力差）。 过拟合可以通过观测训练集和验证集的loss变化判断：随着epoch或step的增加，训练集 loss不断下降，而验证集loss先下降后抬升。解决过拟合和欠拟合的方法 #mermaid-svg-PIgv01fGrHf6DRYA

过拟合是指机器学习模型在训练集上表现很好，但在测试集或未见过的数据上表现较差的现象。过拟合是由于模型在训练过程中过度拟合了训练数据的特点和噪声，导致了对训练样本的过度依赖和泛化能力不足。为了解决过拟合问题，选择适当的方法需要对具体问题和数据进行分析，并在模型构建和调优过程中进行实验和验证。在实践中，通常需要权衡模型的复杂度和泛化能力，以获得更好的结果。

姜雪伟的课程社区_NO_4

1

社区成员

144

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章