scrapy运行过程中停住且无任何报错，请问该如何定位

汇讯猎头 2017-01-23 02:12:34
操作系统环境：mac
python版本：2.7

现象：
运行scrapy的过程中，突然之间停止，且没有任何报错，日志显示如下，请问哪位高人帮忙看看为何停止了，遇到这类问题该如何定位：谢谢！



……前面略



2017-01-23 13:42:39 [root] DEBUG: bloomfilter follow link = http://nocutnews.co.kr/news/4720106

2017-01-23 13:42:39 [root] DEBUG: bloomfilter follow link = http://nocutnews.co.kr/news/4720094

2017-01-23 13:42:39 [scrapy] DEBUG: Crawled (200) <GET http://nocutnews.co.kr/news/list?c1=254&c2=259> (referer: None)

2017-01-23 13:42:40 [selenium.webdriver.remote.remote_connection] DEBUG: POST http://127.0.0.1:60033/wd/hub/session {"requiredCapabilities": {}, "desiredCapabilities": {"platform": "ANY", "browserName": "phantomjs", "version": "", "javascriptEnabled": true}}

2017-01-23 13:42:40 [selenium.webdriver.remote.remote_connection] DEBUG: Finished Request

2017-01-23 13:42:40 [selenium.webdriver.remote.remote_connection] DEBUG: POST http://127.0.0.1:60033/wd/hub/session/c13fd4f0-e12e-11e6-a80e-87e393dbd863/url {"url": "http://nocutnews.co.kr/news/list?c1=254&c2=259", "sessionId": "c13fd4f0-e12e-11e6-a80e-87e393dbd863"}

2017-01-23 13:42:46 [selenium.webdriver.remote.remote_connection] DEBUG: Finished Request

2017-01-23 13:42:46 [selenium.webdriver.remote.remote_connection] DEBUG: GET http://127.0.0.1:60033/wd/hub/session/c13fd4f0-e12e-11e6-a80e-87e393dbd863/source {"sessionId": "c13fd4f0-e12e-11e6-a80e-87e393dbd863"}

2017-01-23 13:42:46 [selenium.webdriver.remote.remote_connection] DEBUG: Finished Request

2017-01-23 13:42:46 [selenium.webdriver.remote.remote_connection] DEBUG: DELETE http://127.0.0.1:60033/wd/hub/session/c13fd4f0-e12e-11e6-a80e-87e393dbd863 {"sessionId": "c13fd4f0-e12e-11e6-a80e-87e393dbd863"}

2017-01-23 13:42:46 [selenium.webdriver.remote.remote_connection] DEBUG: Finished Request

2017-01-23 13:42:46 [root] DEBUG: bloomfilter follow link = http://nocutnews.co.kr/news/4708177

2017-01-23 13:42:47 [scrapy] DEBUG: Crawled (200) <GET http://nocutnews.co.kr/news/list?c1=254&c2=260> (referer: None)

2017-01-23 13:42:48 [selenium.webdriver.remote.remote_connection] DEBUG: POST http://127.0.0.1:60119/wd/hub/session {"requiredCapabilities": {}, "desiredCapabilities": {"platform": "ANY", "browserName": "phantomjs", "version": "", "javascriptEnabled": true}}

2017-01-23 13:42:48 [selenium.webdriver.remote.remote_connection] DEBUG: Finished Request

2017-01-23 13:42:48 [selenium.webdriver.remote.remote_connection] DEBUG: POST http://127.0.0.1:60119/wd/hub/session/c5b49430-e12e-11e6-a4d5-e100c4c26ce4/url {"url": "http://nocutnews.co.kr/news/list?c1=254&c2=260", "sessionId": "c5b49430-e12e-11e6-a4d5-e100c4c26ce4"}

2017-01-23 13:43:51 [selenium.webdriver.remote.remote_connection] DEBUG: Finished Request

2017-01-23 13:43:51 [selenium.webdriver.remote.remote_connection] DEBUG: GET http://127.0.0.1:60119/wd/hub/session/c5b49430-e12e-11e6-a4d5-e100c4c26ce4/source {"sessionId": "c5b49430-e12e-11e6-a4d5-e100c4c26ce4"}

2017-01-23 13:43:51 [selenium.webdriver.remote.remote_connection] DEBUG: Finished Request

2017-01-23 13:43:51 [selenium.webdriver.remote.remote_connection] DEBUG: DELETE http://127.0.0.1:60119/wd/hub/session/c5b49430-e12e-11e6-a4d5-e100c4c26ce4 {"sessionId": "c5b49430-e12e-11e6-a4d5-e100c4c26ce4"}

2017-01-23 13:43:51 [selenium.webdriver.remote.remote_connection] DEBUG: Finished Request

2017-01-23 13:43:51 [root] DEBUG: bloomfilter follow link = http://nocutnews.co.kr/news/4722146

2017-01-23 13:43:51 [root] DEBUG: bloomfilter follow link = http://nocutnews.co.kr/news/4721697

2017-01-23 13:43:51 [root] DEBUG: bloomfilter follow link = http://nocutnews.co.kr/news/4721446

2017-01-23 13:43:51 [root] DEBUG: bloomfilter follow link = http://nocutnews.co.kr/news/4721364

2017-01-23 13:43:51 [root] DEBUG: bloomfilter follow link = http://nocutnews.co.kr/news/4718899

2017-01-23 13:43:51 [root] DEBUG: bloomfilter follow link = http://nocutnews.co.kr/news/4716210

2017-01-23 13:43:51 [root] DEBUG: bloomfilter follow link = http://nocutnews.co.kr/news/4715884

2017-01-23 13:43:51 [root] DEBUG: bloomfilter follow link = http://nocutnews.co.kr/news/4715666

2017-01-23 13:43:51 [root] DEBUG: bloomfilter follow link = http://nocutnews.co.kr/news/4715796

2017-01-23 13:43:51 [root] DEBUG: bloomfilter follow link = http://nocutnews.co.kr/news/4715192

2017-01-23 13:43:51 [root] DEBUG: bloomfilter follow link = http://nocutnews.co.kr/news/4712395

2017-01-23 13:43:51 [root] DEBUG: bloomfilter follow link = http://nocutnews.co.kr/news/4711118

2017-01-23 13:43:51 [root] DEBUG: bloomfilter follow link = http://nocutnews.co.kr/news/4710328

2017-01-23 13:43:51 [scrapy] INFO: Crawled 434 pages (at 3 pages/min), scraped 390 items (at 0 items/min)

2017-01-23 13:43:52 [scrapy] DEBUG: Crawled (200) <GET http://nocutnews.co.kr/news/list?c1=282> (referer: None)

2017-01-23 13:43:54 [selenium.webdriver.remote.remote_connection] DEBUG: POST http://127.0.0.1:60210/wd/hub/session {"requiredCapabilities": {}, "desiredCapabilities": {"platform": "ANY", "browserName": "phantomjs", "version": "", "javascriptEnabled": true}}

2017-01-23 13:43:54 [selenium.webdriver.remote.remote_connection] DEBUG: Finished Request

2017-01-23 13:43:54 [selenium.webdriver.remote.remote_connection] DEBUG: POST http://127.0.0.1:60210/wd/hub/session/ed09b380-e12e-11e6-ba50-b128e0b318bc/url {"url": "http://nocutnews.co.kr/news/list?c1=282", "sessionId": "ed09b380-e12e-11e6-ba50-b128e0b318bc"}
...全文
841 4 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
4 条回复
切换为时间正序
请发表友善的回复…
发表回复
Adyan? 2021-01-19
  • 打赏
  • 举报
 回复
我也是这个情况，什么鬼
浮沉独步 2017-02-24
  • 打赏
  • 举报
 回复
我也遇到这样的情况，不知道因为什么
屎克螂 2017-02-10
  • 打赏
  • 举报
 回复
请求要写超时
shiter 2017-02-04
  • 打赏
  • 举报
 回复
是不是网页完了？还是网络断了
新手 scrapy中这个怎么解决
@TOC 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全...
记一次Scrapy进程卡死的Debug过程
发现问题 日常巡查数据入库情况时，发现最新数据的入库时间停在了凌晨。立刻登录远程服务器，尝试定位问题。 定时任务是否正常工作，是否有报错信息 crontab -l 经检查发现，定时任务工作正常，也没有运行报错的记录。 查看系统进程，采集程序是否运行 ps -ef | grep xxxappspider 输出信息如下 可以看到进程在凌晨 01:40 成功启动了，但是一直没有执行完成，推测是代码出现了死锁等问题？查看日志也没有记录到有用的信息。 检查
scrapy假死
背景：进程还在跑，数据没有产出，日志记录停留在昨天. 解决办法：在settings里设置timeout DOWNLOAD_TIMEOUT = 15 # timeout 为15s
在Scrapy中如何使用aiohttp
当我们从一些代理 IP 供应商购买代理 IP 时，他们可能是提供一个网址供我们查询当前可用的代理 IP。我们周期性访问这个网址，拿到最新的 IP，再分给爬虫使用。 最正确的做法，是单独有一个代理池程序，它负责请求这个网址，获取所有的代理 IP，然后维护到一个池子里面。爬虫只需要从这个池子里面拿就可以了。 但有时候，因为某些原因，我们可能暂时无法或者暂时没有时间开发代理池程序，于是不得不直接让爬虫去请求代理 IP 供应商提供的网址获取代理 IP。这个时候我们就面临了一个问题——爬虫应该怎么去请求代..
python爬虫之scrapy
scrapy安装 在windows下，在dos中运行pip install Scrapy报错 采用pip安装，安装时可能会出现安装错误Microsoft Visual C++ 14.0 is required， 解决方案 http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted  下载twisted对应版本的whl文件（如我的Twisted‑1...
脚本语言

37,743

社区成员

34,211

社区内容

发帖
与我相关
我的任务
社区描述
JavaScript，VBScript，AngleScript，ActionScript，Shell，Perl，Ruby，Lua，Tcl，Scala，MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • WuKongSecurity@BOB
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章