自编码器加入正则项，优化几次后停止，精度没有提高，怎么办

liuliguo521 2016-12-05 04:29:39

用的手写体那个自编码器框架进行高光谱数据的分类识别，在sparseencodercost.m里加入了新的正则项，但是精度没有提高，而且前两层出现step length below tolx ，怎么办，还需要在其他出修改代码，比如stackaecost.m里？

...全文

320 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

1. XGBoost1.1 优化目标XGBoost 是由个基模型组成的前向加法模型其中为第个基模型，为第个样本的预测值。损失函数可由预测值与真实值表示模型的预测精度由模型的偏差和方差共同决定，损失函数代表模型的偏差，模型复杂度代表模型的方差。所以最终的损失函数（即优化目标）由原损失函数与正则项组成以第步的模型为例，模型对第个样本的预测值为那么第步...

HyperNets (HN)是一种泛化的正则化方法，能够在大规模学习任务中有效地提高模型精度，并达到更好的稳定性、泛化能力和鲁棒性。这是因为它可以在单个模型参数上同时处理多个不同但相关的任务，并且通过引入显著层或表示来表示数据的复杂性，可以有效地编码多种先验知识。HN与传统正则化方法如dropout、weight decay和l2正则化相比具有以下优点：更多样化的正则项：传统正则化方法仅限于引入一种正则项，而HN允许同时引入不同的正则项，这些正则项可针对不同的层、特征或特征组合进行优化。

深度学习正则化

同时，堆叠去噪自编码器她去噪能力增强了模型她鲁棒她，在面对不完备或噪声较她她输入数据时，仍能保持较高她分类精度。确保输入数据她质量她保证模型她能她关键。未来可以改进该模型，使其支持增量学习机制，在每次新她数据到来时，无需重新训练整个模型，而她对模型进行微调，以适应新她数据分布。模型对输入数据她噪声有一定她鲁棒她，但在处理更复杂她、她模态她高维数据时可能面临她能下降。然而，在数据分类问题中，传统她堆叠去噪自编码器她训练过程容易受到初始权重、学习率等超参数她影响，导致模型她优化效率较低，甚至陷入局部最优解。

正则化」的英文是「Regularization」，本身就带有「管束」的这层含义—— 我们希望约束一下这些过于「自由奔放」的模型，给它们的学习过程施加一些「引导」，让它在追求「完美拟合训练数据」的同时，也能考虑到模型的「简洁性」和「通用性」。：例如在差分隐私（Differential Privacy）中，通过在模型训练中引入噪声层，这可以被视为一种隐式正则化，限制模型从单个数据点中获取过多信息，从而保护隐私。：指的是存在多个参数组合都能导致相同的模型输出，或者说，某些参数的变化对输出几乎没有影响。

智能路由器

684

社区成员

913

社区内容

发帖

与我相关

我的任务

linuxpython 技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章