Scrapy问题 Dumping Scrapy stats

yong881205 2014-07-18 11:23:22
最近刚学习Scrapy框架,有个东西查了好久也没查到,麻烦知道的大神帮忙解释下啊。

每次运行完一个Spider,在结束时都会有这么一段日志,如下:
2014-07-18 10:47:10+0800 [tuto] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 530,
'downloader/request_count': 2,
'downloader/request_method_count/GET': 2,
'downloader/response_bytes': 16515,
'downloader/response_count': 2,
'downloader/response_status_count/200': 2,
'finish_reason': 'finished',
'finish_time': datetime.datetime(2014, 7, 18, 2, 47, 10, 68574),
'log_count/INFO': 3,
'response_received_count': 2,
'scheduler/dequeued': 2,
'scheduler/dequeued/memory': 2,
'scheduler/enqueued': 2,
'scheduler/enqueued/memory': 2,
'start_time': datetime.datetime(2014, 7, 18, 2, 46, 56, 79548)}
2014-07-18 10:47:10+0800 [tuto] INFO: Spider closed (finished)

有时候这个字典还会有其它字段,请问这个字典是根据什么生成的?是由Scrapy的哪一环节生成的?各个字段的具体意思是什么?(虽然能根据字面意思了解各个字段的意思,但是我还碰到过其它字段,有些不明白这些字段之间的关联)

补充:
2014-07-23 18:16:07+0800 [you] INFO: Crawled 33 pages (at 33 pages/min), scraped 6862 items (at 6862 items/min)
这是什么意思?
还有,在哪里能看到scrapy log各个字段的详细介绍?

求大神帮忙啊
...全文
1399 1 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
yong881205 2014-07-24
  • 打赏
  • 举报
回复 1
没有大神来帮忙?

37,743

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • WuKongSecurity@BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧