社区
数据结构与算法
帖子详情
BP神经网络如何根据误差表现来修改学习速率
lining227
2018-01-21 11:37:33
在BP神经网络中,一般情况下学习速率net.lr是一个常数。我想让学习速率根据前后两次误差的表现来增加学习速率或者减小学习速率。
例如这样:
e^α*μ(n-1) E(n)<0.9E(n-1)
μ(n)= e^(-α)*μ(n-1) E(n)>1.04E(n-1)
μ(n-1) 其他
a=E(n)/E(n-1), 代表当前误差与上一次的误差比。如果误差增加,则乘以e(-a)系数,用来降低学习速率。如果误差减小,则乘以e(a)用来加快学习速率。
...全文
429
回复
打赏
收藏
BP神经网络如何根据误差表现来修改学习速率
在BP神经网络中,一般情况下学习速率net.lr是一个常数。我想让学习速率根据前后两次误差的表现来增加学习速率或者减小学习速率。 例如这样: e^α*μ(n-1) E(n)1.04E(n-1) μ(n-1) 其他 a=E(n)/E(n-1), 代表当前误差与上一次的误差比。如果误差增加,则乘以e(-a)系数,用来降低学习速率。如果误差减小,则乘以e(a)用来加快学习速率。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
一种改进的
BP
神经网络
算法及其应用-一种改进的
BP
神经网络
算法及其应用.rar
一种改进的
BP
神经网络
算法及其应用-一种改进的
BP
神经网络
算法及其应用.rar 一种改进的
BP
神经网络
算法及其应用 一种改进的
BP
神经网络
算法及其应用 褚辉,赖惠成 摘要:
BP
算法是目前应用最为广泛的
神经网络
学习
算法,但原始算法收敛
速率
慢,训练过程易陷入局部极小值以及隐层节 点数选择困难。针对这些问题提出了不少改进措施,文中提出了一种改进的
BP
神经网络
算法,在
BP
算法基础上,从训练算 法着手,通过
误差
的变化趋势,动态调整权值以提高网络的收敛
速率
;通过数学推导,从理论上验证了该算法的有效性。用 MATLAB软件对文中的改进算法进行仿真,并且与其它方法进行比较,结果表明,改进后的算法在收敛
速率
和抑制噪声等方 面有很好的效果,从实验上验证了该算法的有效性。 关键词:
神经网络
;反向传播算法;模式识别
BP
神经网络
MATLAB例程
BP
神经网络
是一个前向网络,它利用
误差
反向传播算法对网络进行训练,结构简单,可塑性强。本例选择3层
BP
神经网络
(隐层为1层)来逼近函数,单输入单输出,隐层包含7个神经元,预设精度为0.1,
学习
率设为0.1,循环次数为5000次,达到循环次数,或结果达到预设精度要求,结束计算。激活函数选择双曲函数,采用梯度下降法,通过神经元的输入和
误差
,以及权值的
学习
速率
来计算权值的变化率。将输入提供给网络后,神经元的激活值从输入层经各中间层向输出层传播,输出层的神经元获得网络的输入相应。接下来,按照减少目标输出与实际输出之间
误差
的方向,从输出层反向经过中间层回到输入层,从而逐层修正各连接权值。随着
误差
逆向的传播修正不断进行,网络对输入响应的正确率也不断上升。
大白话
神经网络
和
BP
算法--从此爱上
神经网络
1.1
神经网络
来源1.2了解感知器认知过程1.3感知器代码实现逻辑或和与1.4感知器网络和S型神经元及激活函数1.5
神经网络
之结构详解1.6.1
神经网络
BP
算法前置知识1.6.2
神经网络
BP
算法W7过程演练1.6.3
神经网络
BP
算法W1过程...
BP
神经网络
算法MATLAB程序
BP
神经网络
是一个前向网络,它利用
误差
反向传播算法对网络进行训练,结构简单,可塑性强。本例选择3层
BP
神经网络
(隐层为1层)来逼近函数,单输入单输出,隐层包含7个神经元,预设精度为0.1,
学习
率设为0.1,循环次数为5000次,达到循环次数,或结果达到预设精度要求,结束计算。激活函数选择双曲函数,采用梯度下降法,通过神经元的输入和
误差
,以及权值的
学习
速率
来计算权值的变化率。将输入提供给网络后,神经元的激活值从输入层经各中间层向输出层传播,输出层的神经元获得网络的输入相应。接下来,按照减少目标输出与实际输出之间
误差
的方向,从输出层反向经过中间层回到输入层,从而逐层修正各连接权值。随着
误差
逆向的传播修正不断进行,网络对输入响应的正确率也不断上升。
C#实现
BP
神经网络
算法
C#实现
BP
神经网络
算法,可以实现训练、泛化,自己设定动量因子和
学习
速率
,还可以实现动态绘制相对
误差
图
数据结构与算法
33,009
社区成员
35,326
社区内容
发帖
与我相关
我的任务
数据结构与算法
数据结构与算法相关内容讨论专区
复制链接
扫一扫
分享
社区描述
数据结构与算法相关内容讨论专区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章