Tensorflow训练minist，到了一定迭代次数后，训练准确率骤减，有碰到过类似的情况的吗？

[dzyjjpy]

在跑这个tensorflow训练minist的demo时，出现了迭代次数超过35200时，就会出现training accuracy骤减，之后准确率一直在0.1附近波动。
请问有遇到过类似情况的吗？

step 34800, training accuracy 1
step 34900, training accuracy 1
step 35000, training accuracy 1
step 35100, training accuracy 1
step 35200, training accuracy 0.06
step 35300, training accuracy 0.1
step 35400, training accuracy 0.06
step 35500, training accuracy 0.06
step 35600, training accuracy 0.12

[尘封记忆]

是过拟合吧，一般都会一个阀值，超过这个阀值就会出现 测试数据集 的准确率降低。

[欢乐的小猪]

学习率过大，过小，模型假设是否符合数据的分布，都会影响训练的准确率无法进一步提升。

[dzyjjpy]

引用 1 楼 ksx_120999 的回复:

是过拟合吧，一般都会一个阀值，超过这个阀值就会出现 测试数据集 的准确率降低。

超过这个阈值，出现过拟合，准确率会发生突变吗？ 准确率在0.1左右，感觉和随机猜测的概率差不多。

[dzyjjpy]

引用 2 楼 欢乐的小猪 的回复:

学习率过大，过小，模型假设是否符合数据的分布，都会影响训练的准确率无法进一步提升。

这个是下载的demo，源代码中是设置的20000次，准确率应该也还可以。应该不是学习率的锅吧

[尘封记忆]

引用 3 楼 dzyjjpy 的回复:

[quote=引用 1 楼 ksx_120999 的回复:] 是过拟合吧，一般都会一个阀值，超过这个阀值就会出现 测试数据集 的准确率降低。

超过这个阈值，出现过拟合，准确率会发生突变吗？ 准确率在0.1左右，感觉和随机猜测的概率差不多。[/quote] 突变是有可能的，mnist 的训练，网上有很多的说明吧。 可能性: 1、可能是算法本身就是错的。 2、训练集和测试集的分组有问题吧，测试集尽量不拿出来训练 3、训练次数不是越多越好。

[dzyjjpy]

引用 5 楼 ksx_120999 的回复:

[quote=引用 3 楼 dzyjjpy 的回复:]
[quote=引用 1 楼 ksx_120999 的回复:]
是过拟合吧，一般都会一个阀值，超过这个阀值就会出现 测试数据集 的准确率降低。

超过这个阈值，出现过拟合，准确率会发生突变吗？ 准确率在0.1左右，感觉和随机猜测的概率差不多。[/quote]
突变是有可能的，mnist 的训练，网上有很多的说明吧。
可能性:
1、可能是算法本身就是错的。
2、训练集和测试集的分组有问题吧，测试集尽量不拿出来训练
3、训练次数不是越多越好。[/quote]

好的，谢谢。训练集和测试集，是完全分开的。

[weixin_42329758]

您好，我想问一下，我训练的过程中，训练准确率为1啦，但是测试准确率一直不变，就是0.125，这是什么情况啊

[qq_18650793]

博主，想请教一下训练的时候准确率突然下降是什么原因呢