自编码器加入正则项，优化几次后停止，精度没有提高，怎么办

liuliguo521 2016-12-05 04:29:39

用的手写体那个自编码器框架进行高光谱数据的分类识别，在sparseencodercost.m里加入了新的正则项，但是精度没有提高，而且前两层出现step length below tolx ，怎么办，还需要在其他出修改代码，比如stackaecost.m里？

...全文

302 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

由于手写数字边缘轮廓差异大造成书写风格的不同，为了提高识别准确度，通过在自动编码机中加入稀疏约束项和雅克比正则项，提出一种雅克比稀疏自动编码机（JSAE）的算法进行手写数字识别。加入稀疏约束项能够有效提取数据中的隐藏结构，而雅克比正则化可以描述数据点的边缘特征，提高自动编码器算法的学习能力，从而更准确地抽取样本的本质特征。实验结果表明，JSAE在分类准确率上要高于自动编码机（AE）和稀疏自动编码机（SAE）算法。

在machine learning的优化中，经常看到一些目标表达式加上正则项来防止过拟合。比如：最后一项就是正则项。加入正则项会导致weight decay，它使得weight趋向于零，因为对于overfitting现象，weight值会过拟合的高，加入正则项使得优化式和数据妥协，防止过拟合现象。转载于:https://www.cnblogs.com/jilichua...

[模型优化]模型欠拟合及过拟合判断、优化方法一、模型欠拟合及过拟合简介模型应用时发现效果不理想，有多种优化方法，包含：添加新特征增加模型复杂度减小正则项权重获取更多训练样本减少特征数目增加正则项权重具体采用哪种方法，才能够有效地提高模型精度，我们需要先判断模型是欠拟合，还是过拟合...

黑：过拟合怎么办? 白：加入正则项防止过拟合白：加入正则项防止过拟合黑：什么是正则项？白：就是在原来的损失函数加入惩罚项比如原损失函数: 加入惩罚项之后损失函数：黑：还是不明白为什么加入这个正则项后就会防止过拟合了呢？原理是啥呢？白：引入正则项后，会使权重小的特征的权重损失的更多的，而对权重大的特征的权重相对来说损失的就少很多。黑：数学不好的我怎么也看不出来权重小的损失的多啊？不应...

用MindSpore框架复现正则化实验 ——了解正则化手段与提前停止实验介绍一般而言，正则化是为了防止过拟合或者帮助优化。本实验会给出几种神经网络中最受欢迎的正则化方法，以及用MindSpore实现：提前停止，L2正则化，dropout。此外该实验也增加了Batch Normalization（批标准化）方法进行对比实验。通过构建加入噪音的cosine模型，加入各种正则化技术形成对比：提前停止：当验证集的性能开始下降时停止训练。 L2正则化是简单地将L2正则项"λ"∣∣θ∣∣22||\theta|

智能路由器

678

社区成员

913

社区内容

发帖

与我相关

我的任务

linuxpython 技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章