python网页爬虫scrapy增量式框架 mysql数据库数据总量不增加

Roinging 2019-03-20 03:45:50
背景:scrapy爬虫框架,workbench下的mysql,
第一次运行爬虫主程序的时候,获取了2w条左右的数据,运行了8小时左右,并且都可以存进数据库,
但是第二次运行的时候,不到一小时就运行完了,正常返回code 0,数据库也显示了最近的更新时间,但是数据量总量完全没有变化,想问一下有朋友遇到过相同的情况吗?
...全文
80 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

3,424

社区成员

发帖
与我相关
我的任务
社区描述
其他开发语言 其他开发语言
社区管理员
  • 其他开发语言社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧