用Caffe进行训练时死机的问题

asaasa66 2016-09-22 09:10:08

请教下大家，有没有遇到过用Caffe进行CNN训练时运行到一半死机的情况，我的显卡是GTX750Ti，Ubuntu14.04系统，之前没有出现过这样的情况，同一个训练任务，之前跑得还是好好的，可以正常完成训练，现在再跑同样的任务，总是在运行几百个iteration后突然就毫无反应了，每次死机时的iteration数都不同，搞了几天了都没解决问题，烦啊。。。

...全文

3641 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

qq_36508372 2017-06-19

打赏
举报

回复

请问大家这个问题解决了吗？我是batch size设置特别小就没事，到十以上就关机重启了，不知道是哪里出了问题

MrTimber 2017-06-11

打赏
举报

回复

楼主的问题解决了吗，我碰到一样的问题了，卡住之后查看GPU信息，显示GPU is lost.Reboot the system to recover the GPU.

yang123jx 2017-05-24

打赏
举报

回复

遇到同样的问题，caffe跑一两个小时就停止退出或重启电脑，请问楼主解决没？

Main Theme 2016-11-10

打赏
举报

回复

我跑MNIST从一开始就死机，不知道为什么，楼主解决了吗？

本课程在windows下搭建CPU版本Caffe环境，便于初学者学习和调试。通过实例介绍了Caffe的的训练和预测方法以及对应的python接口，便于大家掌握Caffe常用的训练和预测方法；结合以图形化的方式介绍网络结构、训练的loss/精度变化、代码框架梳理；还涉及到项目上Caffe更高级的应用：添加python自定义层及新增一个已有的c++层；介绍了深度学习网络训练的原理，结合Caffe的前向、反向传播的实现进行验证；最后修改一个已有的网络模型，使用项目上更常用的方式进行网络训练。

　　今天训练caffe，训练到7000多iteration时连着几次中途卡死，电脑并没有死机，GPU也一直占用。最后通过向大牛请教，指出方向，应该是在while循环没跳出来，因此查找对应的改过while训练最终查找出原因并解决。　另一个小技巧，因为训练到中间7000多iteration暂停，需要使用Qt进行调试，一个iteration一个iteration地调试显然太慢了，因此在Qt上加一变量...

前言此博客主要介绍如何利用matlab一步一步训练caffe模型，类似使用caffe.exe 的train命令。国际惯例，参考博客： http://caffe.berkeleyvision.org/tutorial/interfaces.html http://www.cnblogs.com/denny402/p/5110204.html 抱怨一下：matlab的教程是真少哇

问题描述键盘鼠标失效，图形界面卡顿，程序不再运行可能原因 ubuntu18.04跑深度学习模型时，图形界面卡顿,其原因是显卡版本和cuda要求的显卡版本不一致 reference ubuntu16.04跑深度学习模型时，图形界面卡顿 Ubuntu16.06 单Nvidia显卡深度学习运行时界面卡顿（刷新慢）的解决方法 ubuntu系统突然卡机或者完全死机怎么办 Ubuntu下图形界面卡死解决办法 ...............

Caffe学习笔记第一部分 - Windows*下BVLC Caffe的安装与配置 https://software.intel.com/zh-cn/node/753918?language=es Caffe的各个版本简介 https://blog.csdn.net/haoji007/article/details/90756159 Caffe-windows入门学习，编译、训练、测试详...

CUDA高性能计算讨论

353

社区成员

615

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章