深度学习优化技术的讨论

Serendipty# 2024-07-09 09:35:18

大家好！深度学习模型训练中，优化技术至关重要。梯度下降、动量、AdaGrad、RMSProp等优化器各有特点。近期，Nesterov 加速梯度下降法和Adam优化器受到关注。大家分享一下各自在实践中遇到的问题和优化策略，共同进步！💡🚀

...全文

117 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

深度学习，MIT，deep learning, Yoshua Bengio,Ian Goodfellow,Aaron Courville

用C#做学习型人脸识别程序（尝鲜版）DEMO和源码

Visual C++游戏开发经典案例详解.pdf

深度学习优化函数详解系列目录 深度学习优化函数详解（0）– 线性回归问题 深度学习优化函数详解（1）– Gradient Descent 梯度下降法 深度学习优化函数详解（2）– SGD 随机梯度下降本文延续该系列的上一篇 深度学习优化函数详解（2）– SGD 随机梯度下降上一篇我们说到了SGD随机梯度下降法对经典的梯度下降法有了极大速度的提升。但有一个问题就是由于过

AdaGrad算法会使⽤⼀个小批量随机梯度gt按元素平⽅的累加变量st。在时间步0，AdaGrad将s0中每个元素初始化为0。在时间步t，⾸先将小批量随机梯度gt按元素平⽅后累加到变量st：其中⊙是按元素相乘。接着，我们将⽬标函数⾃变量中每个元素的学习率通过按元素运算重新调整⼀下：其中η是学习率，ϵ是为了维持数值稳定性而添加的常数，如10的-6次方。这⾥开⽅、除法和乘法的运算都是按元素运算的。这些按元素运算使得⽬标函数⾃变量中每个元素都分别拥有⾃⼰的学习率。

16

社区成员

18

社区内容

发帖

与我相关

我的任务

计算机视觉目标检测人工智能个人社区北京·西城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章