py-faster-rcnn训练数据集loss不收敛问题 [问题点数:40分]

Bbs1
本版专家分:0
结帖率 66.67%
Bbs1
本版专家分:0
Bbs1
本版专家分:0
Bbs1
本版专家分:0
Bbs1
本版专家分:0
Blank
Github 绑定github第三方账户获取
caffe 训练loss收敛
1.<em>loss</em>一直没有降低 解决方法: 将适当学习率调高点,比如0.000001 -&amp;gt; 0.00001 2.<em>loss</em>曲线震荡 解决方法:batch size 必须大于样本数,即: solver里的test interval* train batch size 应该&amp;gt;=train image 总数 solver里的test iter * test batch size应该&amp;gt...
LSTM训练无法收敛
LSTM不<em>收敛</em><em>问题</em> <em>问题</em>描述 我准备用LSTM建立一个关于时序数据的映射<em>问题</em>,简单点来说就是输入一段有序的数据,经过LSTM之后输出另一段有序的数据,例如输入一段行走的动画骨架数据,输出一段跑的骨架数据。 我的方法 使用了三层的LSTM,将走的数据当作输入,跑的数据当做标签,将网络输出的结果和我的标签数据进行对比(使用了MSE损失函数),然后反向传播改进网络。 我的<em>问题</em> 网络不<em>收敛</em>,损失函数下降...
使用YOLO训练自己的数据样本经验总结
YOLO近一年多新出的一种object detection的方法,关于目标检测及YOLO的介绍可参见:基于深度学习的目标检测研究进展 , CVPR2016目标检测之识别效率篇:YOLO, G-CNN, Loc-Net ,RCNN学习笔记(6):You Only Look Once(YOLO):Unified, Real-Time Object Detection。 1. 好,现在我们使用yolo一
Darknet yoloV3 训练VOC数据集时不收敛 “-nan”报错或者检测无效果
看了好半天,不过最后还是在Git上找到了相关的<em>问题</em>。主要是对于yolov3-voc.cfg文件。其中的batch和subvision<em>训练</em>和测试的时候应当是不一样的。默认的都是1,那是测试的时候的批次数量。在<em>训练</em>的时候我是改成batch=64,subversion=16;基本<em>训练</em>就没啥<em>问题</em>,也会有“nan”的报告,但是基本网络还是能够<em>收敛</em>的。 另外,测试的时候记得把这两个参数的值改回来哦。...
图像语义分割 — 利用Deeplab v3+训练自己的数据 loss震荡解决办法
<em>问题</em>描述:     在利用DeeplabV3+ <em>训练</em>自己<em>数据集</em>时,<em>loss</em>一直在0.4附近震荡,测试集MIOU值在0.55附近(结果较差),折腾许久,终于有所提高,最近计算结果:测试集 MIOU &amp;gt; 0.8,且过拟合现象不明显。 参考链接: 1. https://blog.csdn.net/u011974639/article/details/80948990; 2. https:/...
深度学习训练时网络不收敛的原因分析总结
很多同学会发现,为什么我<em>训练</em>网络的时候<em>loss</em>一直居高不下或者准确度时高时低,震荡趋势,一会到11,一会又0.1,不<em>收敛</em>。 又不知如何解决,博主总结了自己<em>训练</em>经验和看到的一些方法。 首先你要保证<em>训练</em>的次数够多,不要以为一百两百次就会一直<em>loss</em>下降或者准确率一直提高,会有一点震荡的。只要总体<em>收敛</em>就行。若<em>训练</em>次数够多(一般上千次,上万次,或者几十个epoch)没<em>收敛</em>,则试试下面方法: 1. 数据...
Caffe训练分类器不收敛loss居高不下
转载:http://blog.sina.com.cn/s/blog_141f234870102w941.html 我利用Caffe<em>训练</em>一个基于AlexNet的三分类分类器,将train_val.prototxt的全连接输出层的输出类别数目改为3,<em>训练</em>一直不<em>收敛</em>,<em>loss</em>很高;当把输出改成4或1000(>3)的时候,网络可以<em>收敛</em>。也就是caffenet结构的输出层的类别数一定要大于我<em>训练</em>集
FCN训练收敛的原因分析和最详细的FCN训练与测试自己的数据程序配置
本文分析了FCN<em>训练</em>不<em>收敛</em>的原因并给出了解决方案。 同时给出了详尽的完善的FCN<em>训练</em>与测试程序配置,欢迎阅读与分享。
caffe分类训练收敛原因分析
1. 数据和标签 数据分类标注是否准确?数据是否干净? 另外博主经历过自己创建数据的时候数据标签设置为1,2,...,N,<em>训练</em>的时候最后FC层设置的输出output num为N。<em>训练</em>的时候<em>loss</em>一直不降。后来将标签改为0,1,2,...,N-1,重新<em>训练</em>,很快就<em>收敛</em>了。 为啥label需要从0开始? 在使用SoftmaxLoss层作为损失函数层的单标签分类<em>问题</em>中,label要求从
【Darknet】【yolo v2】训练自己数据集的一些心得----VOC格式
-------【2017.11.2更新】------------SSD传送门----------http://blog.csdn.net/renhanchi/article/details/78411095http://blog.csdn.net/renhanchi/article/details/78423343-------【2017.10.30更新】------------一些要说的----...
深度学习网络训练收敛问题
不<em>收敛</em>描述及可能原因分析 不<em>收敛</em>情景1 描述 从<em>训练</em>开始就一直震荡或者发散 可能原因 图片质量极差,人眼几乎无法识别其中想要识别的特征,对于网络来说相当于输入的一直都是噪音数据,所以<em>loss</em>一直震荡无法<em>收敛</em> 大部分标签都是对应错误的标签 leaning rate 设置过大 不<em>收敛</em>情景2 描述 <em>训练</em>开始会有所下降,然后出现发散 可能原因 数据标签中有错误,甚至所有标签都有一定的错误 l...
训练收敛的几种可能
1. 学习率 2. 数据未归一化 3. 网络结构不合理
caffe训练网络不收敛——有哪些坑需要我们去填
caffe<em>训练</em>网络不<em>收敛</em>——有哪些坑需要我们去填在深度学习领域,caffe已经被广泛使用了,但是对于caffe新手来说,在网络<em>训练</em>过程中总会遇到一些摸不着头脑的<em>问题</em>不知道如何解决,本文总了我在使用caffe过程中的一些经验。 自己定义网络结构——<em>训练</em> 自己定义网络结构在<em>训练</em>过程中一般需要两个文件:solver.prototxt 和 train-val.prototxt. 其中solver文件中存放
caffe训练CNN时,loss收敛原因分析
人工智能/机器学习/深度学习交流QQ群:964753462 也可以扫一扫下面二维码加入微信群,如果二维码失效,可以添加博主个人微信,拉你进群 1. 数据和标签 数据分类标注是否准确?数据是否干净? 另外博主经历过自己创建数据的时候数据标签设置为1,2,...,N,<em>训练</em>的时候最后FC层设置的输出output num为N。<em>训练</em>的时候<em>loss</em>一直不降。后来将标签改为0,1,2,...,N-1...
SSD-Tensorflow测试及训练自己的数据错误锦集
深度学习小白一枚~入门初级,开始跑些实验,一路遇到很多很多<em>问题</em>,在此仅记录其中一部分,谢谢~环境:Ubuntu16.04+CUDA8.0+Cudnn8.0v6.0+python3.5+tensorflow1.4一、    SSD测试主要参考: https://blog.csdn.net/yexiaogu1104/article/details/774159901.  下载SSD-Tensorflo...
caffe训练loss一直不收敛
1、数据和标签 数据是否干净? 标签是否从0开始,标签的 2、学习率设定 0.1,0.01,0.001。。。 3、网络设定 复杂<em>问题</em>,如果网络太简单也会导致一直不<em>收敛</em>   参考文章:https://blog.csdn.net/sinat_24143931/article/details/78663659...
YOLOv3训练的过拟合问题
在<em>训练</em>YOLOv3的时候用了4个类别,car,bus,truck和tricycle,<em>训练</em>了2w轮,<em>loss</em>不到0.2 但是在<em>训练</em>集和测试集分别测试mAP的时候缺出现了很大的差距。 val result: class name: bus ('ap', 0.22807790544644976) class name: car ('ap', 0.63199984246435803) class name...
深度学习收敛问题可能出现的情况
1.数据库太小一般不会带来不<em>收敛</em>的<em>问题</em>,只要你一直在train总会<em>收敛</em>(rp<em>问题</em>跑飞了不算)。反而不<em>收敛</em>一般是由于样本的信息量太大导致网络不足以fit住整个样本空间。样本少只可能带来过拟合的<em>问题</em>,你看下你的training set上的<em>loss</em><em>收敛</em>了吗?如果只是validate set上不<em>收敛</em>那就说明overfitting了,这时候就要考虑各种anti-overfit的trick了,比如dropou...
faster rcnn end-to-end loss曲线的绘制
绘制faster rcnn end-to-end<em>训练</em>方式的<em>loss</em>曲线,总的<em>loss</em>图,和4部分bbox <em>loss</em>/cls <em>loss</em>/rpn cls <em>loss</em>/rpn box <em>loss</em>
py-faster-rcnn算法caffe配置,训练及应用到自己的数据集
下载faster r-cnn git clone --recursive https://github.com/rbgirshick/<em>py-faster-rcnn</em>.git 进入<em>py-faster-rcnn</em>/lib make 结果如下图: 进入<em>py-faster-rcnn</em>/caffe-fast-rcnn cp Makefile.config.example MAkef
训练loss不下降原因集合
一,train <em>loss</em>与test <em>loss</em>结果分析4666train <em>loss</em> 不断下降,test <em>loss</em>不断下降,说明网络仍在学习;train <em>loss</em> 不断下降,test <em>loss</em>趋于不变,说明网络过拟合;train <em>loss</em> 趋于不变,test <em>loss</em>不断下降,说明<em>数据集</em>100%有<em>问题</em>;train <em>loss</em> 趋于不变,test <em>loss</em>趋于不变,说明学习遇到瓶颈,需要减小学习率或批量数...
faster rcnn训练过程出现loss=nan的解决办法
出现了<em>loss</em>=nan说明模型发散,此时应该停止<em>训练</em>。 出现这种错误的情况可能有以下几种,根据你自己的情况来决定。 1、GPU的arch设置的不对 打开./lib/setup.py文件,找到第130行,将gpu的arch设置成与自己电脑相匹配的算力,这里举个例子,如果你用的是GTX1080,那么你的算力就是6.1,此时就需要将-arch=sm_52改成-arch=sm_61。 可以在这个网...
卷积神经网络/CNN/深度学习在做分类训练时不收敛的解决方案
<em>训练</em>网络的过程就是网络学习图像特征的过程,正所谓网络好用但是不好<em>训练</em>,我算是真真切切的体会到了.之前<em>训练</em>手写汉字的时候,大概就花费了1个多小时,之前<em>训练</em>几十个分类的字符也耗费了很长的时间,逐渐让我我点怕<em>训练</em>了,不过今天,我好像找到了<em>问题</em>的解决方法,虽然不一定对每个人有用吧,但是的的确确省了太多的时间.用图说话 今天打算<em>训练</em>一个cnn分类这39类图片, **他们大概长这个样子**200*100的大小,
GPU训练loss不下降,CPU正常
数据并行机制相关
TensorFlow神经网络模型不收敛的处理
1、learning rate设大了0.1~0.0001.不同模型不同任务最优的lr都不一样。我现在越来越不明白TensorFlow了,我设置<em>训练</em>次数很大的时候,它一开始就给我“<em>收敛</em>”到一个值,后面的值都一样。2、归一化参考: 深度学习<em>收敛</em><em>问题</em>; <em>训练</em>深度神经网络
分类神经网络把所有的input只能分成一类的原因/神经网络不能收敛/神经网络loss很大不下降
之前出现过两次这种情况,也就是出现这类情况,对于所有的输入,网络都只能判断成某一类,比如对于所有的输入,输出都是“猫”。还是总结下,当然如果有幸被大佬们看到的话,希望大佬们能给予补充。 做了一点实验,但是不是非常的全面,也没有考虑到每一种情况,而且对于参数的选择也比较随意。所以这个博客的结论是根据作者所采用的网络,一开始设置的超参得出的结论,仅供参考。 一、网络结构 本次实验采用的<em>数据集</em>是c...
使用Pytorch训练过程中loss不下降的一种可能原因
在使用Pytorch进行神经网络<em>训练</em>时,有时会遇到<em>训练</em>学习率不下降的<em>问题</em>。出现这种<em>问题</em>的可能原因有很多,包括学习率过小,数据没有进行Normalization等。不过除了这些常规的原因,还有一种难以发现的原因:在计算<em>loss</em>时数据维数不匹配。下面是我的代码: <em>loss</em>_function = torch.nn.MSE_<em>loss</em>() optimizer.zero_grad() output = mod...
SSD-Tensorflow训练过程中遇到的坑
参考:1)目标检测SSD+Tensorflow <em>训练</em>自己的<em>数据集</em> - zcc_TPJH - CSDN博客 https://blog.csdn.net/weixin_39881922/article/details/80569803 2)SSD-Tensorflow<em>训练</em>总结 - 你的朋友不及格,你很难过;你的朋友考了第一,你更难过。 - CSDN博客 https://bl...
损失函数震荡不收敛可能原因:tf.train.shuffle_batch
​ 在制作tfrecords<em>数据集</em>的时候,比如说将cifar数据转换成tfrecords<em>数据集</em>,一般会用到tf.train.shuffle_batch函数,而损失函数震荡不<em>收敛</em>的原因就可能就是<em>数据集</em>制作出现<em>问题</em>。 ​ Cifar-10<em>数据集</em>包含了airlane、automobile、bird、cat、deer、dog、frog、horse、ship、truck,10种分类...
py-faster-rcnn】【训练自己数据】需要修改的参数小记
运行环境:cpu <em>训练</em>图片大小为300*330,类别数11。 1.修改VGG_CNN_M_1024模型配置文件 1)solver.protxt文件 stepsize原先为10000,根据需要更改。 2)train.protxt文件 “input-data”层的‘num_class’数值改为11;“rpn-data”层的feat_stride由原先的16改
YOLO的Loss中为什么要对不含目标的检测框设置较小权值?
在YOLO v1中,<em>loss</em>里对不含目标(no object)的检测框(bounding box)进行了权值 λnoobj 的设置(0.5),在原文中解释为 Also, in every image many grid cells do not contain any object. This pushes the “confidence” scores of those cells towar...
使用py-faster-rcnn训练自己的数据集
具体流程按照这篇博客的内容来的: http://blog.csdn.net/sinat_30071459/article/details/51332084 但是在<em>训练</em>过程中还是出现了一些<em>问题</em>,建议提前将这些改好再<em>训练</em>。 1. 首先是这个<em>问题</em>: b2.text_format.Merge(f.read(), self.solver_param) AttributeError: ‘module’
修改MTCNN中caffe源码,时计算loss时以对应标签是否为“-1”判别
MTCNN<em>训练</em>不<em>收敛</em>原因: 地址: https://github.com/dlunion/mtcnn 我们的<em>训练</em>数据标签格式: wider face: pos/001.jpg  1 x1 y1 x2 y2 (x1 y1 x2 y2) -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 part/001.jpg -1 x1 y1 x2 y2 (x1 y1 x2 y2)
FCN模型训练中遇到的困难
前前后后大概忙了3个月了 中间穿插了导师给的项目和论文的任务  总算把fcn给run起来了 之前也有参考一些博客作为指导 不过博客有的是有误导性的 导致我的<em>loss</em>居高不下 根本不<em>收敛</em> 还有一些奇奇怪怪的<em>问题</em> 我在下面逐一列举 <em>问题</em>1.使用infer.py时候遇到no display name and no $DISPLAY environment variable 出现这个<em>问题</em>
运行网络时,loss始终不下降,MAE保持在0.5
网络<em>问题</em> 数据<em>问题</em> 经过排查,发现使用next_batch()函数取出的数据有<em>问题</em>,因为输入数据大小不一致,所以我使用 list() 来保存数据,因此读取出来的数据形式是list,导致上述<em>问题</em> ...
损失还很高但是模型不收敛了怎么办?
陷入局部最优? sgd:调大学习率 换用adam等优化方法 递进学习->1000->10000->80000 调小batch:(A.全部数据作为一个batch和 B.每个采样作为一个batch)一般用的时候,在非监督<em>训练</em>阶段,可以先用B方法创建初始模型, 然后在监督<em>训练</em>阶段,选择小batch size进行初步<em>训练</em>,让模型跳出局部极值,之后用大的batch size让模型<em>收敛</em>,这样一般能达到比较好的
令人拍案叫绝的 Wasserstein GAN,彻底解决GAN训练不稳定问题
【新智元导读】 本文详细解析了最近在 reddit 的 Machine Learning 版引起热烈讨论的一篇论文Wassertein GAN,该论文提出的 WGAN 相比原始 GAN 的算法实现流程却只改了四点,但实现了彻底解决GAN<em>训练</em>不稳定,基本解决了 collapse mode 的<em>问题</em>等好处。 论文下载地址:https://arxiv.org/abs/1701.07875 在GAN的相...
神经网络训练loss不下降原因集合
train <em>loss</em>与test <em>loss</em>结果分析 train <em>loss</em> 不断下降,test <em>loss</em>不断下降,说明网络仍在学习; train <em>loss</em> 不断下降,test <em>loss</em>趋于不变,说明网络过拟合; train <em>loss</em> 趋于不变,test <em>loss</em>不断下降,说明<em>数据集</em>100%有<em>问题</em>; train <em>loss</em> 趋于不变,test <em>loss</em>趋于不变,说明学习遇到瓶颈,需要减小学习率或批...
在Pytorch下,由于反向传播设置错误导致 loss不下降的原因及解决方案*
在Pytorch下,由于反向传播设置错误导致 <em>loss</em>不下降的原因及解决方案 本人研究生渣渣一枚,第一次写博客,请各路大神多多包含。刚刚接触深度学习一段时间,一直在研究计算机视觉方面,现在也在尝试实现自己的idea,从中也遇见了一些<em>问题</em>,这次就专门写一下,自己由于在反向传播(backward)过程中参数没有设置好,而导致的<em>loss</em>不下降的原因。 对于多个网络交替 【描述】简单描述一下我的网络结构,...
Tensorflow Object Detection API训练自己数据集遇到的一个问题
用这个api<em>训练</em>自己的<em>数据集</em>时候,遇到一个<em>问题</em>,就是即使<em>训练</em>了十万步,最后<em>loss</em>始终降不下去,保持在5%左右(其实也还好,不算高),最后在测试集上测试,效果很不好,物体检测的框都标错。 经过反复查找原因,最后找到<em>问题</em>的关键在于生成Tf_record文件的时候,读入图片的宽和高信息有误导致的。 先来看看Object Detection的官方给的生成tf_record数据处理python文件中生...
关于训练深度学习模型deepNN时,训练精度维持固定值,模型不收敛的解决办法(tensorflow实现)
一、背景 最近一直在做人脸表情的识别,用到的程序是之间的一篇文章中的程序:深度学习(一)——deepNN模型实现摄像头实时识别人脸表情(C++和python3.6混合编程)。这里我只进行了简单的程序修改。 由于该程序是利用fer2013<em>数据集</em>做的,效果不是很好,人脸表情的识别精度仅有70%左右,因此我想自己制作<em>数据集</em>,自己<em>训练</em>模型,关于如何制作<em>数据集</em>,可参考文章:从零开始制作人脸表情的<em>数据集</em>。...
caffe ssd 训练过程中出现nan问题解决
在<em>训练</em>ssd过程中出现nan的,解决方法:将学习率调低即可。 但需要注意一点,需要删除models/VGGNet/路径下的临时文件,不然会从中断点继续执行。
深度神经网络训练的技巧
这里主要介绍8中实现细节的技巧或tricks:数据增广、图像预处理、网络初始化、<em>训练</em>过程中的技巧、激活函数的选择、不同正则化方法、来自于数据的洞察、集成多个深度网络的方法。 1.       数据增广 在不改变图像类别的情况下,增加数据量,能提高模型的泛化能力 自然图像的数据增广方式包括很多,如常用的水平翻转(horizontally flipping),一定程度的位移或者裁剪和
训练SSD时出现的数据问题
使用COCO2014<em>训练</em>SSD网络。参照https://github.com/weiliu89/coco.git的方法处理<em>数据集</em>。生成lmdb格式数据。开始<em>训练</em>之后报这种错误。OpenCV Error: Assertion failed ((scn == 3 || scn == 4) &amp;amp;&amp;amp; (depth == CV_8U || depth == CV_32F)) in cvtCol...
shell命令提取数据 faster RCNN 画loss曲线
grep Iteration 1.log | grep <em>loss</em> | awk '{print $6,$9}' | sed 's/\,//'&amp;gt; <em>loss</em>.data提取后的信息可以用另外一个脚本完成<em>loss</em>曲线的绘图工作。import matplotlib.pyplot as plt y = [] x = [] with open('<em>loss</em>_data') as f: for line ...
17.11.15 centerloss使用的时候需要注意的一些点
在接触了center<em>loss</em>这么久之后,总结了一些需要注意容易出错的点: 1. 在使用之前应该对caffe重新编译一下。记得,当初刚接触caffe不是很久的时候,对最最最最最初级的方法还不是很了解,傻乎乎的直接拿过来就用,一直报错,很是难受。后来再大神的指点下,把caffe重新编译了一下。。。 2. 如果将center<em>loss</em>要用的自己的caffe网络中的话,在已经编译的基础上,需要做的就是在原
FCN训练自己的数据遇到的问题总结
配置个FCN遇到了无数的坑,真的是醉了,特意记录下来,希望对大家有些帮助,少走弯路。 1.运行solve.py时,出现一下错误: Traceback (most recent call last):   File &quot;solve.py&quot;, line 26, in &amp;lt;module&amp;gt;     solver = caffe.SGDSolver('solver.prototxt')   Fi...
GAN不稳定原因
生成对抗神经网络由两部分组成:生成器和判别器。判别器尽可能使D(G(Z))接近0,而生成器尽可能生成同分布高质量的样本使D(G(Z))接近1。当生成器和判别器的性能<em>训练</em>得足够好时,达到纳什均衡(生成器生成的G(Z)与<em>训练</em>数据有相同的分布,对于判别器的每个输入x, D(x)=0.5) 生成器生成样本G(z)的损失函数取决于判别器的反馈。判别器判定样本为真的概率越高,生成器的损失函数越低。当样本趋向于...
GAN的Loss的比较研究(5)——能量Loss
上一篇文章讲的是《BEGAN: Boundary Equilibrium Generative Adversarial Networks》将能量函数(Energy)与Wasserstein Distance相结合,再辅之以比例反馈控制,让GAN迅速<em>收敛</em>,并保持了多样性。具体是: 让Auto-Encoder作为Discriminator,将原图与重建图的逐点差异(pixel-wise error...
finetuning出现问题loss 为Nan的情况
1.        不run train_op 发现Nan的情况消失,说明不是原始模型的<em>问题</em>,2.        将每一帧的<em>loss</em> 输出发现<em>loss</em> 波动很大,达到几千,小到很小。然后就变为Nan,将变为Nan的数据不考虑入计算,后面还是会变为Nan,说明不是数据的<em>问题</em>。3.        最终将由frames_<em>loss</em>=[….]计算batch <em>loss</em> 的tf.reduce_sum 变为tf....
5.Tensorflow 二分类深度网络训练loss维持在0.69附近
这个<em>问题</em>很多人在<em>训练</em>自己或者迁移别的网络的时候都会遇到,特别是二分类这样的简单网络,感觉无处着手,都他妈的是对的,就是Loss不动。到底什么原因了?吐槽的网址很多。比如这里,或者这里。若想知道解决办法,请直接跳到文章最后。 0.69是个什么数? 一般采用的都是cross entropy <em>loss</em> value,定义如下: 发现就是网络预...
facenet 代码阅读笔记:如何训练基于triplet-loss的模型
转载网址 facenet是一个基于tensorflow的人脸识别代码,它实现了基于center-<em>loss</em>+softmax-<em>loss</em> 和 triplet<em>loss</em>两种<em>训练</em>方法,两者的上层的网络结构可以是一样的,主要区别在于最后的<em>loss</em>的计算,center-<em>loss</em>+softmax-<em>loss</em>的实现方法相对来说比较好理解一些,而triplet-<em>loss</em>则比较复杂,具体的思想可以参考https://
pytorch的坑---loss没写好,现存爆炸
作者:陈诚 链接:https://www.zhihu.com/question/67209417/answer/344752405 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 算是动态图的一个坑吧。记录<em>loss</em>信息的时候直接使用了输出的Variable。 应该不止我经历过这个吧... 久久不用又会不小心掉到这个坑里去... for d
训练集、测试集loss容易出现的问题总结
                   <em>训练</em>集、测试集<em>loss</em>容易出现的<em>问题</em>总结 train <em>loss</em> 不断下降,test <em>loss</em>不断下降:说明网络仍在学习; train <em>loss</em> 不断下降,test <em>loss</em>趋于不变:说明网络过拟合; train <em>loss</em> 趋于不变,test <em>loss</em>不断下降:说明<em>数据集</em>100%有<em>问题</em>; train <em>loss</em> 趋于不变,test <em>loss</em>趋于不变:说明学...
batch—size的大小对loss收敛的影响
batch—size的大小对<em>loss</em><em>收敛</em>的影响 batch_size 太小:网络<em>收敛</em>不稳定,<em>收敛</em>慢,<em>loss</em>来回震荡,batch_size的方向不能大致的代替整个样本的方向。 batch_size 太大:计算量大,内存消耗多,前期<em>收敛</em>可能快,<em>训练</em>次数减少。 由于GPU的特性,batch_size最好选用 8 , 16 ,32 ,64…. ...
loss收敛过小或finetune时跑飞情况分析
   最近在跑REDNet去噪网络,基于pytorch框架,输入输出图像被归一化到了0-1之间,<em>loss</em>使用的是L2 <em>loss</em>,理论最终<em>收敛</em>值为33左右。结果在之前<em>训练</em>好模型的基础上finetune,出现了这种情况:    当使用L1或者输入为0-255时,并没有出现这种情况。这里使用L2 <em>loss</em>,输入0-1之间,<em>loss</em>先下降,再上升,这是很反常的,一般来说有以下<em>问题</em>导致...
训练FCN时遇到的问题总结
按照下面这个博客的教程<em>训练</em>FCN http://blog.csdn.net/wangkun1340378/article/details/70238290 刚开始了出现‘SIFFlowSegDataLayer’object has no attribute'param_str'的错误: 原因是由于我用的caffe是官神mnt文件夹中的caffe,改成用主目录中的caffe就好了 或者还
对于上次YOLO的一些遗留问题做一下解释
对于上次YOLO的一些遗留<em>问题</em>做一下解释 tianbing010@126.com http://www.cnblogs.com/mcjj 作者:马春杰杰 2017年6月14日22:36:58 博客已迁至[马春杰杰]http://www.machunjie.com/deeplearning/33.html 请移步新博客,谢谢。! ...
训练网络时出现 误差loss 是 NAN
我的<em>训练</em>的是VGGnet19,<em>训练</em>从一开始<em>loss</em>就一直是NAN,ACC准确率也很低,而且一直也没有提高的迹象,在0.0xx徘徊。 我发现我的网络中未加归一化操作,最后在每层都加了归一化层,解决了该<em>问题</em>,见下图,<em>loss</em>逐渐减少,ACC逐步增大,呵呵。 (**提示**:在2015年 Very Deep Convolutional Networks for Large-Scale Image R...
caffe训练加BN层的网络时loss为87.3365的问题解决办法
caffe<em>训练</em>加BN层的网络时<em>loss</em>为87.3365的<em>问题</em>解决办法
Tensorflow中用VGG19做二分类loss出现0.693174解决方法2
接上次相同题目的blog,发现权重加了l2正则化后,开始的<em>loss</em>很大,逐渐<em>收敛</em>到0.693174后不变……在Tensorflow下用VGG19 pre-train的model跑一个人脸表情库,做一个二分类。 出现<em>loss</em>除了迭代的第一个值,其余输出均是0.693174 我用的梯度下降函数是Adam解决方法: 将梯度下降函数改为SGD+Momentum(0.9) 开始时<em>loss</em>在0.69
训练过程--对loss和acc的分析、处理
  计算<em>loss</em>是会把所有<em>loss</em>层的<em>loss</em>相加。 从验证集误差是和测试集误差的角度分析   其实你这个<em>问题</em>就是个伪命题,如果我们刻意的去在<em>训练</em>集上拟合模型,使其准确率达到很高的高度,或者说尽量在验证集合上表现的好,都是相悖的。   因为我们不能为了某一特定<em>数据集</em>来刻意拟合,因为模型预测数据是不一定就在这个<em>训练</em>或者验证集合的空间中。   还有,如果这个model预测集合acc20% <em>训练</em>集合a...
使用caffe训练CNN,Loss不下降,维持在某个数字-log(类别数)
这也是困扰我一段时间的<em>问题</em>,<em>loss</em>不下降,一直在找其他的原因,权重初始化从gaussian到xiavier,查看了反向传播的diff后,总觉得梯度消失了,还想着加上BN层。 以上统统没有效果,为什么呐? 数据没有shuffle!每一个minibatch几乎都是同一类,这样必然出现大<em>问题</em>。 为什么呐? caffe中的优化方法默认是SGD,这里的SGD其实是minibatch-SGD算法,计
py-faster-rcnn用自己的数据训练模型(CPU版本)
系统环境ubuntu14.04python2.7--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------...
keras做CNN的训练误差loss的下降
采用二值判断如果确认是噪声,用该点上面一个灰度进行替换。 噪声点处理:对原点周围的八个点进行扫描,比较。当该点像素值与周围8个点的值小于N时,此点为噪点 。 处理后的文件大小只有原文件小的三分之一,前后的图片内容肉眼几乎无法察觉。 但是这样处理后图片放入CNN中在其他条件不变的情况下,模型<em>loss</em>无法下降,二分类图片,<em>loss</em>一直在8-9之间。准确率维持在0.5,同时,测试集的<em>训练</em>误差持续下...
YOLOv3 训练自己的数据(解决网上提供的文章不能一次成功的问题
0.写本博客的目的 对于使用yolov3<em>训练</em>自己的数据,网上虽然文章多,但是经过实验发现,基本没有能一次运行的成功的。因此特写此文,记录自己在使用yolov3<em>训练</em>自己的数据时遇到的坑。 环境:ubuntu14 + CUDA8.0 + cudnn5.0 + GTX1050Ti (4G) 1. 制作数据 为了便于在多个目标检测框架(如Faster R-CNN,SSD等)中<em>训练</em>,...
神经网络不学习的原因
神经网络故障检查列表——check list 神经网络的<em>训练</em>出现了<em>问题</em>咋办?损失函数不<em>收敛</em>怎么办?准确率很高但输出不对是什么清况?本文提供了相当全面的检查手册。主要分为数据<em>问题</em>,网络<em>问题</em>和<em>训练</em><em>问题</em>。
使用py-faster-rcnn训练voc2007数据集(Ubuntu)
<em>数据集</em> 1、下载<em>数据集</em>:  输入指令: wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtest_06-Nov-2007.tar wget http://host.ro
tensorflow下mnist实例,关于迭代次数及随机取数据集大小问题
在官方文档中,采用的是1000次迭代,每次随机选取100个<em>数据集</em>进行<em>训练</em>。 最后的精确值为91%左右。提高迭代次数到10000次,随机选取任是100个时,精确值为92%左右。可以理解,毕竟多次迭代。然而当迭代为10000次,每次1000个<em>数据集</em>时,精确度仅有9.8%,相当于等概率随机猜。正常来说应该会提高精确度,然而不是。原因是: 随机梯度最后不<em>收敛</em>导致的。 官方文档中采用交叉熵来计算los
caffe训练时,loss一般出现87.3365则保持不变
caffe<em>训练</em>时,<em>loss</em>一般出现很奇怪的值:87.3365,则保持不变下去。直觉就有<em>问题</em>。 搜索资料,找到多篇帖子: https://blog.csdn.net/u011215144/article/details/78479330 https://blog.csdn.net/cheese_pop/article/details/79582077 https://blog.csdn....
faster RCNN的Python的画出来loss曲线图
faster RCNN的Python的画出来<em>loss</em>曲线图
keras GAN训练loss不发生变化,accuracy一直为0.5
可能是激活层的激活方式与损失函数不匹配。 一般使用sigmoid,损失函数使用binary_crossentropy ;使用softmax,损失函数使用categorical_crossentropy。 作者:Yohanna 链接:https://www.zhihu.com/question/36307214/answer/364963552 来源:知乎 著作权归作者所有。商业转载请联系作者获...
caffe学习:Faster-RCNN调试及训练自己的数据集
  参考官方的安装教程的同时,注意一些细节,由于我的服务器上之前跑openpose,因为Anaconda包含与Caffe不兼容的Protobuf版本,所以一直不敢装anaconda。但是跑Faster-RCNN的时候又发现自己安装的python环境,那些第三方库又老是出现不兼容的<em>问题</em>,无奈我还是得投奔anaconda的怀抱,经过了解anaconda还可以装虚拟环境,真的很强大。废话不多说了,开始...
[深度学习] loss不下降的解决方法
链接:https://blog.ailemon.me/2019/02/26/solution-to-<em>loss</em>-doesnt-drop-in-nn-train/ 当我们<em>训练</em>一个神经网络模型的时候,我们经常会遇到这样的一个头疼的<em>问题</em>,那就是,神经网络模型的<em>loss</em>值不下降,以致我们无法<em>训练</em>,或者无法得到一个效果较好的模型。导致<em>训练</em>时<em>loss</em>不下降的原因有很多,而且,更普遍的来说,<em>loss</em>不下降一...
faster rcnn caffe版学习并微调训练自己的数据集
这篇文章记录了我使用py-fast -rcnn的经验,包括如何从零开始设置py-fast -rcnn,如何使用py-fast -rcnn对PASCAL VOC<em>数据集</em>进行demo<em>训练</em>,如何<em>训练</em>自己的<em>数据集</em>,以及我遇到的一些错误。所有的步骤都基于Ubuntu 16.04 + CUDA 9.0。论文地址 目录 设置faster rcnn pascal voc<em>数据集</em>上的测试 <em>训练</em>自己的<em>数据集</em> ...
三元组损失 Triplet Loss及其梯度
Triplet Loss及其梯度 https://blog.csdn.net/jcjx0315/article/details/77160273   Triplet Loss简介 我这里将Triplet Loss翻译为三元组损失,其中的三元也就是如下图的Anchor、Negative、Positive,如下图所示通过Triplet Loss的学习后使得Positive元和Anchor...
使用faster rcnn训练自己的数据(py-faster-rcnn
使用RGB大神的<em>py-faster-rcnn</em><em>训练</em>自己的数据进行目标检测
Yolo v2 训练 NAN解决过程
主要参考https://zhuanlan.zhihu.com/p/25110930<em>问题</em>描述今天在用yolo<em>训练</em>自己的<em>数据集</em>的时候,一开始<em>训练</em>过程中的<em>loss</em>还很正常地在下降。结果到了几个个batch的地方突然就出现<em>loss</em> = nan的情况。其实到现在自己也没有发现到底是什么导致了nan,但是参考上面这篇文章,至少暂时解决了这个<em>问题</em>。解决过程1)首先检查了代码是不是对的。一般出现nan,第一反应是:
pytorch训练神经网络loss刚开始下降后来停止下降的原因
<em>问题</em>提出:用pytorch<em>训练</em>VGG16分类,<em>loss</em>从0.69下降到0.24就开始小幅度震荡,不管如何调整batch_size和learning_rate都无法解决。 原因:没有加载预<em>训练</em>模型 那么<em>问题</em>来了,官方给出的是1000类的ImageNet预<em>训练</em>模型    https://download.pytorch.org/models/vgg16-397923af.pth,而我要做的是20类...
faster rcnn中损失函数(三)——理解faster-rcnn中计算rpn_loss_cls&rpn_loss_box的过程
首先感想来源与pytorch的rpn.py。 我们都知道,rpn通过制作lable和targe_ shift来构造rpn <em>loss</em>的计算。那具体是怎么构造的呢? 首先rpn_<em>loss</em>_cls计算: 我们应该首先想到的是: rpn_<em>loss</em>_cls = F.cross_entropy(rpn_cls_score, rpn_label) 维度分析 cross_entropy要求输入是Vari...
目标检测问题中的-loss,val_loss
概念 最近在用研究keras-yolov3,遇到了<em>loss</em>,val_<em>loss</em>这两个基本的概念,在这捋一捋这两位的到底有啥作用。 <em>loss</em>:<em>训练</em>集上<em>loss</em>,就是总的<em>loss</em>; val_<em>loss</em>:测试集中的<em>loss</em>; 过拟合 (1)<em>loss</em>一直下降,<em>收敛</em>,而val_<em>loss</em>却上升,不<em>收敛</em>,说明过拟合了。<em>loss</em>下降、<em>收敛</em>,说明模型在<em>训练</em>集上,表现良好,但是却在验证集、测试集上没有良好的表现...
loss不下降,训不动
可能是学习率太大, 但也有可能也是因为数据给错了。。
tensorflow试用踩坑
第一次使用tensorflow 很坑 以此记录一些我自己悟出来的门道 概况:样本共有10类,文件夹的安排是这样的,一个train文件夹下放所有的<em>训练</em>图片,然后train下面有10个不同的文件夹,命名为c0、c1、c2…..代表种类,数据存tfrecords,使用slim,vgg16的网络,tensorboard画曲线。 整体代码:import osimport pandas import num
利用Retinanet 训练自己的数据集 | keras retinanet - focal loss 网络训练过程中使用csv格式进行训练自己的数据
一、csv数据准备(需要利用Pascal voc2007<em>数据集</em>形式来生成)在生成csv<em>数据集</em>时候,需要先将自己的数据做成VOC 2007形式,参考上篇博客:VOC2007<em>数据集</em>制作-进行自己<em>数据集</em>的<em>训练</em>,可用于目标检测、图像分隔等任务Pascal voc2007 <em>数据集</em>转换成csv<em>数据集</em>时候,将会使用voc2007<em>数据集</em>中三个文件JPEGImages,Annatations,ImageSets中M...
CIFAR-10数据集比MNIST训练难度高许多
CIFAR-10<em>数据集</em>比MNIST<em>训练</em>难度高许多 MNIST<em>数据集</em>几乎很好<em>训练</em>,随便设计一个两层的全连接网络都能达到将近90%的测试精度,加入卷积层后更是可以轻易达到&amp;gt;97%的精度,但是同样的模型用来<em>训练</em>CIFAR-10,<em>训练</em>相同的epoch之后得到的结果却只有10%,只有<em>训练</em>几十个epoch之后测试精度才能达到80%,其间的上升速度简直慢如蜗牛 cifar10数据像素值的取值范围在[0...
faster rcnn训练过程出现loss=nan解决办法
在我<em>训练</em>faster rcnn的过程中,使用VOC2007<em>数据集</em>end2end<em>训练</em>方法,并没有出现<em>loss</em>=nan的<em>问题</em>,出现了<em>loss</em>=nan说明模型发散,此时应该停止<em>训练</em>,不然得到的模型也不能检测出物体。 在我自己<em>训练</em>自己的数据(Kitti<em>数据集</em>转成voc<em>数据集</em>)的时候,出现一个RuntimeWarning: invalid value encountered in log targets_
物体检测之CornerNet
论文:CornerNet: Detecting Objects as Paired Keypoints Github:https://github.com/umich-vl/CornerNet   ECCV2018 Oral,作者美国密歇根大学heilaw ,论文提出了基于左上和右下2点的有别于传统检测的检测框架,该框架是一种自下而上的检测框架。是一种先有检测顶点,再有物体边框的思想。而传统...
loss问题——工作中对出现的loss问题描述与解决参考
<em>问题</em>一:<em>loss</em>跑飞 如下图描述 1、学习率(lr)过大,可以自定义一个学习率的值(较小)开始学习。 参考blog:https://blog.csdn.net/CHNguoshiwushuang/article/details/81784299 也就是说,学习率如果设置过大,会导致其直接跑到另外一边,从而导致<em>loss</em>跑飞。当然真实的<em>loss</em>变化是在一个奇异空间里的,不是图上的那种二...
caffe 准确率一直震荡,从0到0.6反复
可能原因: 猜测版,未经证实,如有虚言,不要怪我…… 一、学习率太大,一般说法,但是通过lr policy调试学习次数很多之后应该不会出现这种情况吧 二、solver里的test interval* train batch size 应该>=train image 总数,保证全部图片循环一轮之后再测试。之前我就是test interval设的太小了,导致accuracy一直震荡……    
YOLOv3在训练自己数据集时的速度慢问题
YOLOv3以速度快著称,但是在<em>训练</em>自己的<em>数据集</em>时发现尽管在命令中同时开启了多块gpu,但速度仍旧很慢。按照其他人的<em>训练</em>日志可以看出64batch的单gpu<em>训练</em>,每次迭代大约需要不到1秒但是自己在<em>训练</em>时却需要好几个小时,首先想到的是自己的<em>数据集</em>是否图片分辨率太高,比较之后发现差不多,而且在开启多尺度<em>训练</em>(设置detector中的random=1)后<em>问题</em>并没有解决。控制影响因素:GPU的数量、bat...
Faster-RCNN+ZF制作自己的数据集训练模型完整文件及教程(Matlab版本)
Faster-RCNN+ZF制作自己的<em>数据集</em>和<em>训练</em>模型完整文件及教程(Matlab版本),内含详细的完整配置及操作过程。
【深度学习】在Dog Breed Identification中使用Inception-V4遇到过拟合的问题解决进展
在Plant Seedlings Classification中自己根据谷歌的paper用keras搭建了Inception-V4,但在Plant比赛中因为<em>数据集</em>较简单,没有出现过拟合<em>问题</em>,模型成功<em>收敛</em>。但在Dog比赛中一开始便出现了过拟合,<em>训练</em>集<em>loss</em>不断下降,测试集<em>loss</em>在在3.6附近震荡。先在averagepool之后,fc之前加了0.5的Dropout,效果不理想,测试集<em>loss</em>依旧在
解决ssd训练时出的问题
1。出现 modul has no LamMap(),以及no modul named moble_libs的<em>问题</em> 解决办法,在该函数所在的.py文件的头部加入caffe的绝对路径 import sys sys.path.insert(0,'/home/cv503/team_file/liling/SSD/caffe-ssd/python'); import caffe 即可解决。
SegNet 网络训练中的问题
SegNet <em>训练</em>原文参考: http://mi.eng.cam.ac.uk/projects/segnet/tutorial.html  SegNet <em>训练</em>方式见: http://blog.csdn.net/caicai2526/article/details/77169871 存在的两个<em>问题</em>: problem 1:我用源代码做了二分类的分割,结果<em>loss</em>值浮动很大,<em>loss</em>值一直在0.1
win10下使用caffe训练自己的数据,车牌二分类
caffe编译参考:http://blog.csdn.net/cym1990/article/details/72630584 1.数据格式转换 Caffe采用leveldb或者lmdb的数据格式。 第一步就是数据的格式转换了。 编译如下图所示工程,可以生成文件convert_imageset.exe 本次<em>训练</em>是使用的车牌数据,只分2类,有车牌,无车牌。
jquery/js实现一个网页同时调用多个倒计时(最新的)
jquery/js实现一个网页同时调用多个倒计时(最新的) 最近需要网页添加多个倒计时. 查阅网络,基本上都是千遍一律的不好用. 自己按需写了个.希望对大家有用. 有用请赞一个哦! //js //js2 var plugJs={     stamp:0,     tid:1,     stampnow:Date.parse(new Date())/1000,//统一开始时间戳     ...
HTML学习笔记(初学及手册用)下载
适合初学HTML者,另外,内有基础的html标签说明, 可快速入门,也可当手册使用。 下载后用记事本或者文本编辑器打开即可。 更多:http://download.csdn.net/user/daillo/all 相关下载链接:[url=//download.csdn.net/download/daillo/2229399?utm_source=bbsseo]//download.csdn.net/download/daillo/2229399?utm_source=bbsseo[/url]
C语言课程设计----学生档案管理系统下载
用C语言对学生档案管理系统的课程设计 C语言程序(txt) 相关下载链接:[url=//download.csdn.net/download/lzq0901071302/2312819?utm_source=bbsseo]//download.csdn.net/download/lzq0901071302/2312819?utm_source=bbsseo[/url]
cuda编程指南(中文版)下载
cuda编程指南,中文版,根据官方版翻译 相关下载链接:[url=//download.csdn.net/download/qwoop/2436711?utm_source=bbsseo]//download.csdn.net/download/qwoop/2436711?utm_source=bbsseo[/url]
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 大数据学习数据集 大数据机器学习数据集
我们是很有底线的