小白学习课程：梯度下降算法与公式详细推导

追梦Hocking 2023-01-13 01:55:03

课程名称	适应人群
小白学习课程：梯度下降算法与公式详细推导	刚入门学习人工智能、机器学习、深度学习的小白

用最简单的、通俗的语言教会小白学会“梯度下降”算法的原理，并进行详细的公式推导，一步一步计算，代码一步一步讲解和操作，力求使小白“听得懂、学的会”

...全文

1268 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

真烦. 2021-07-18

打赏
举报

回复

归一化那边是不是有点问题，第二种方法

小白学习课程：梯度下降算法与公式详细推导国内“双一流”大学博士研究生，计算...

首先简单自我介绍一下，本人现在是国内某211大学2019级博士研究生，计算机科学与技术专业，研究方向和兴趣包括深度学习（CV）、图像处理、菌群仿生优化算法、元胞自动机等，愿与大家分享自己的学习心得！目前主要研究图像去雾算法和深度学习理论。如果要学习Machine Learning和Deep Learing，那么Gradient Descent Algorithm (梯度下降算法）是必须要掌握...

1. 方向导数方向导数：类比于函数的偏导数是函数沿坐标轴方向的变化率，方向导数是函数沿某一射线方向的变化率。定理：如果函数 f(x,y)f(x,y)f(x,y) 在点 P0(x0,y0)P_0(x_0,y_0)P0(x0,y0) 可微分，那么函数在该点沿任一方向 lll 的方向导数存在，且有 ∂f∂l∣(x0,y0)=fx(x0,y0)cos⁡α+fy(x0,y0)cos⁡β(1) \left. \frac{\partial f}{\partial l} \right|_{(x_0,y_0)} =

回顾logistics回归的公式，如下所示：考虑单个样本的情况：假设一个样本只有两个特征x1，x2；那么对应的权重参数只有两个参数w1，w2；还有一个参数b 这里怎么进行通俗易懂的理解：也就是一张图片，只由x1与x2两个数值表示，那么训练时用到的参数维度要与图片的维度相匹配，所以权重参数也为w1，w2 转化成计算图的形式，如下所示：反向传播计算w1，w2以及b的梯度，如下所示：利用梯度下降法，迭代公式如下所示： ...

1）一句链式求导法则还不够，还需要公式推导，或者实际的例子举例说明——做这一切都是为了优化神经网络更新参数，使得误差最小化 2）最重要的就是误差E对w的梯度，实际上就是E对f(e)的梯度×f(e)对e的梯度×e对w的梯度，目标就是把这个梯度拿去更新w 3）笔试求AC，可以不考虑空间复杂度，但是面试既要考虑时间复杂度最优，也要考虑空间复杂度最优。...

周昊的课程社区_NO_1

1

社区成员

12

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章