googlenet深度学习新人，训练的loss值突然变为0后一直变化，请问会是什么原因-CSDN论坛

CSDN论坛 > 其他技术论坛 > 机器视觉

googlenet深度学习新人，训练的loss值突然变为0后一直变化，请问会是什么原因 [问题点数：40分]

⋅googlenet深度学习新人，训练的loss值突然变为0后一直变化，请问会是什么原因 ⋅新手提问，关于ER图 更多帖子 关注空间博客 nanoshikitty 本版专家分：0 结帖率 0%: 0 2016-12-29 15:48:28 回复次数2

引用・举报・楼主

一共500张图片，348张训练，152张验证，请问这是梯度消失的情况吗，下一步应该怎么做

问题点数：40分

CSDN今日推荐

⋅此用户还没有发表过任何帖子 关注空间博客 程序狗觅食中 本版专家分：0: 0 2017-01-17 10:58:09

引用・举报・ #1 得分：0

训练数据太小，overfitting了

⋅此用户还没有发表过任何帖子 关注空间博客 yunz619 本版专家分：0: 0 2017-09-11 00:20:52

引用・举报・ #2 得分：0

目测是overfitting 已经完美分类train set了
个人认为几个可能的解决办法
1.加个dropout
2. 从数据集中再分出来个validation set（或者用之前的train set做cross validation），看着validation set的loss做early stopping。

收藏帖子

注册

其他相关推荐

caffe训练CNN时，loss不收敛原因分析: 深度学习交流QQ群：116270156 1. 数据和标签数据分类标注是否准确？数据是否干净？另外博主经历过自己创建数据的时候数据标签设置为1,2，...，N，训练的时候最后FC层设置的输出output num为N。训练的时候loss一直不降。后来将标签改为0，1，2，...，N-1，重新训练，很快就收敛了。为啥label需要从0开始？

用 caffe做图像分割实验时，loss值很诡异: 最近在做图像分割的实验，使用的是CRF as RNN的网络，但是训练起来有些诡异，loss降低得飞快，不一会儿就降一半。然后一直到个位数时，我觉得应该可以test了。然后使用训练好了的模型，用python接口加载，输出结果一看，全是黑的，没有分割。仔细想想，这个loss值这么低，不应该会这样阿！难道是loss计算错了？然后再想想最后loss层的输入，一个是网络的最后计算结果。于是在test中把最后一

记记关于tensorflow训练模型时出现损失函数为NAN问题: 交叉熵损失函数输出NAN的问题：之前使用tensorflow训练模型，开始的一段迭代周期，模型的预测准确率一直在上升，徘徊一段时间后，准确率骤减，直至到随机猜测的水平，开始以为是模型出了问题，就修改了一下代码，记录训练过程中的误差，希望通过误差曲线，分析是否模型的问题。结果绘图出错，将损失数组输出看了一下，发现后期的损失值都是0。在网上查询，发现是损失函数的特性造成的，在交叉熵损失函数中，会计

解决loss中途出现nan的问题: 参考博文： http://blog.sina.com.cn/s/blog_6ca0f5eb0102wr4j.html https://www.zhihu.com/question/49346370 参考链接：https://www.zhihu.com/question/52242037/answer/184101547

caffe 准确率一直震荡，从0到0.6反复: 可能原因：猜测版，未经证实，如有虚言，不要怪我…… 一、学习率太大，一般说法，但是通过lr policy调试学习次数很多之后应该不会出现这种情况吧二、solver里的test interval* train batch size 应该>=train image 总数，保证全部图片循环一轮之后再测试。之前我就是test interval设的太小了，导致accuracy一直震荡……

tensorflow训练网络时loss出现nan值，准确率为0的问题解决方法（尝试）: 问题：在使用tensorflow训练网络的时候，发现每次一个batch训练时，它的loss都为nan,导致准确率都为0。nan是代表无穷大或者非数值，一般在一个数除以0时或者log(0)时会遇到无穷大，所以你就要想想是否你在计算损失函数的时候，你的网络输出为0，又计算log,从而导致出现nan。网上也有很多原因的解释，比如学习率过大，batch过大，或者本身数据就很脏等等原因，我尝试减小学习率，从...

Tensorflow的loss函数计算容易出错的地方: 1 问题的提出按照tensorflow官方教程搭建好的一个model中的loss函数应该是采用如下的计算方法： cross_entropy = -tf.reduce_sum(y_*tf.log(y)) 其中，这个公式就是按照标准的交叉熵函数进行定义的，比较简陋，去掉了常数项系数，但是没改变总体的性质，所以算是基本交叉熵函数。但是呢，tensorflow系统中提供了计算交叉熵函数的接

转：Caffe 训练时loss等于87.33的原因及解决方法: 如题，在caffe训练时，遇到这个特殊的数字之后，loss会一直就是这个数字。网上虽然有很多针对这个问题调参的trick，但少有详细的分析，因此，有必要研究一下caffe的源代码。 softmax的公式为 pk=exp(xk)∑iexp(xi) 其中x为softmax前一层的输出 softmax的loss计算公式也很简单，就是对softmax之后预测的概率做对数似然函数

【tensorflow】训练网络loss突然出现nan的情况: 尝试在MNIST上跑AlexNet，然而发现loss一直下降的时候，在某一时刻突然出现了nan。在tensorboard上显示如下：可以看到在最后面的accuarcy突然下降。一开始百思不得其解，原因其实在于交叉熵中的 y_truth * log(y_predict) log(0) * 0的时候，则会出现NaN，一旦出现这个情况，网络训练结果必然完蛋 https://...

使用caffe训练时Loss变为nan的原因: 梯度爆炸原因：梯度变得非常大，使得学习过程难以继续现象：观察log，注意每一轮迭代后的loss。loss随着每轮迭代越来越大，最终超过了浮点型表示的范围，就变成了nan。措施：减小solver.prototxt中的base_lr，至少减小一个数量级。如果有多个loss layer，需要找出哪个损失层导致了梯度爆炸，并在train_val.prototxt中减小该层的loss_weight，而非是减小

关闭

关闭