梯度下降的致命缺点？

本溪滑轮 2021-06-16 10:45:52

梯度下降的致命缺点？

...全文

2348 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2021-06-17

打赏
举报

回复

有的时候函数会有多个坡起，梯度下降算法不能保证得到全局最小值，可能得到的是局部最小值

人工神经网络的混合算法在发动机故障诊断中的应用.pdf

0x00 前言：机器学习方法论在此之前，我们已经学习了分类算法：kNN算法，回归算法：线性回归。我们知道：机器学习就是需找一种函数f(x)并进行优化，且这种函数能够做预测、分类、生成等工作。那么其实可以总结出关于“如何找到函数f(x)”的方法论。可以看作是机器学习的“三板斧”：第一步：定义一个函数集合(define a function set)第二步：判断函数的好坏(goodnes...

0 前言：机器学习方法论在此之前，我们已经学习了分类算法：kNN算法，回归算法：线性回归。我们知道：机器学习就是需找一种函数f(x)并进行优化，且这种函数能够做预测、分类、生成等工作。那么其实可以总结出关于“如何找到函数f(x)”的方法论。可以看作是机器学习的“三板斧”：第一步：定义一个函数集合（define a function set）第二步：判断函数的好坏（goodness of a ...

OX00 统计学习三要素统计学习三要素：模型、策略、算法模型（=假设空间=所有备选模型）：决策函数（y=f（x）），条件概率分布，两种形式（一种是判别式模型，一种是生成式模型）策略：确定标准，决定最优标准最重要是确定损失函数：测试值与真实值之间差别的惩罚。算法：如何选择最优模型；OX01 常见的最优化算法判别模型：感知机，k近邻，决策树，逻辑回归，支持向量机，条件随机场，最大熵模型。生成模型：朴...

梯度下降法是机器学习中的一个常用的优化算法，是入门机器学习的基础。因为其简单，可以快速的寻找最优解，在机器学习中比较常用。但是，梯度下降法也有致命的缺点，比如，对于非凸函数，很容易陷入局部最优解，而无法找到全局最优解。下文将全面介绍梯度下降法的原理、算法以及优缺点。梯度定义梯度在数学上定义为在某点处的方向导数，是一个矢量，公式定义如下：对于多元函数f(x1, x2, …, xn)，梯度

高通开发者论坛

4,672

社区成员

5,867

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章