Tensorflow训练minist,到了一定迭代次数后,训练准确率骤减,有碰到过类似的情况的吗?

dzyjjpy 2018-10-15 03:58:18
在跑这个tensorflow训练minist的demo时,出现了迭代次数超过35200时,就会出现training accuracy骤减,之后准确率一直在0.1附近波动。
请问有遇到过类似情况的吗?

step 34800, training accuracy 1
step 34900, training accuracy 1
step 35000, training accuracy 1
step 35100, training accuracy 1
step 35200, training accuracy 0.06
step 35300, training accuracy 0.1
step 35400, training accuracy 0.06
step 35500, training accuracy 0.06
step 35600, training accuracy 0.12
...全文
1997 8 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
8 条回复
切换为时间正序
请发表友善的回复…
发表回复
qq_18650793 2020-05-05
  • 打赏
  • 举报
回复
博主,想请教一下训练的时候准确率突然下降是什么原因呢
weixin_42329758 2019-03-29
  • 打赏
  • 举报
回复
您好,我想问一下,我训练的过程中,训练准确率为1啦,但是测试准确率一直不变,就是0.125,这是什么情况啊
dzyjjpy 2018-12-05
  • 打赏
  • 举报
回复
引用 5 楼 ksx_120999 的回复:
[quote=引用 3 楼 dzyjjpy 的回复:]
[quote=引用 1 楼 ksx_120999 的回复:]
是过拟合吧,一般都会一个阀值,超过这个阀值就会出现 测试数据集 的准确率降低。

超过这个阈值,出现过拟合,准确率会发生突变吗? 准确率在0.1左右,感觉和随机猜测的概率差不多。[/quote]
突变是有可能的,mnist 的训练,网上有很多的说明吧。
可能性:
1、可能是算法本身就是错的。
2、训练集和测试集的分组有问题吧,测试集尽量不拿出来训练
3、训练次数不是越多越好。[/quote]

好的,谢谢。训练集和测试集,是完全分开的。
尘封记忆 2018-12-03
  • 打赏
  • 举报
回复
引用 3 楼 dzyjjpy 的回复:
[quote=引用 1 楼 ksx_120999 的回复:] 是过拟合吧,一般都会一个阀值,超过这个阀值就会出现 测试数据集 的准确率降低。
超过这个阈值,出现过拟合,准确率会发生突变吗? 准确率在0.1左右,感觉和随机猜测的概率差不多。[/quote] 突变是有可能的,mnist 的训练,网上有很多的说明吧。 可能性: 1、可能是算法本身就是错的。 2、训练集和测试集的分组有问题吧,测试集尽量不拿出来训练 3、训练次数不是越多越好。
dzyjjpy 2018-12-03
  • 打赏
  • 举报
回复
引用 2 楼 欢乐的小猪 的回复:
学习率过大,过小,模型假设是否符合数据的分布,都会影响训练的准确率无法进一步提升。


这个是下载的demo,源代码中是设置的20000次,准确率应该也还可以。应该不是学习率的锅吧
dzyjjpy 2018-12-03
  • 打赏
  • 举报
回复
引用 1 楼 ksx_120999 的回复:
是过拟合吧,一般都会一个阀值,超过这个阀值就会出现 测试数据集 的准确率降低。

超过这个阈值,出现过拟合,准确率会发生突变吗? 准确率在0.1左右,感觉和随机猜测的概率差不多。
欢乐的小猪 2018-10-17
  • 打赏
  • 举报
回复
学习率过大,过小,模型假设是否符合数据的分布,都会影响训练的准确率无法进一步提升。
尘封记忆 2018-10-15
  • 打赏
  • 举报
回复
是过拟合吧,一般都会一个阀值,超过这个阀值就会出现 测试数据集 的准确率降低。

37,743

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • WuKongSecurity@BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧