梯度下降的致命缺点？

本溪滑轮 2021-06-16 10:45:52

梯度下降的致命缺点？

...全文

2349 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2021-06-17

打赏
举报

回复

有的时候函数会有多个坡起，梯度下降算法不能保证得到全局最小值，可能得到的是局部最小值

但是，梯度法存在一个致命缺点，即每次迭代需要进行步长优化计算，这会显著增加训练时间。同时，如果步长选择不当，还可能出现收敛至局部极小点的情况。为了克服单一算法的局限性，研究者们提出了结合BP算法和梯度...

0x01 为什么需要梯度下降算法如果我们抛开具体场景，仅从数学抽象的角度来看：每个模型都有自己的损失函数，不管是监督式学习还是非监督式学习。损失函数包含了若干个位置的模型参数，比如在多元线性回归中，损失...

1 为什么需要梯度下降算法如果我们抛开具体场景，仅从数学抽象的角度来看：每个模型都有自己的损失函数，不管是监督式学习还是非监督式学习。损失函数包含了若干个位置的模型参数，比如在多元线性回归中，损失...

梯度下降法有个致命缺陷：它只能找到局部最优点，而非全局最优点。也就是说，不同的初始值，会导致最终收敛的极值点不同。那么对应的解决方案如下：首先随机产生多个初始参数集，即多组；然后分别对每个初始参数集...

但是，梯度下降法也有致命的缺点，比如，对于非凸函数，很容易陷入局部最优解，而无法找到全局最优解。下文将全面介绍梯度下降法的原理、算法以及优缺点。梯度定义梯度在数学上定义为在某点处的方向导数，是一个...

高通开发者论坛

5,379

社区成员

5,923

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章