Scrapy 抓取数据之后将其保存到数据库的时候发生丢失

asus00 2018-01-02 02:11:48
最近在研究Scrapy,写了一个爬虫,爬去链家数据。但在将爬去的数据保存到数据库的时候发生数据丢失,为此我用了两种方式保存爬去的数据:1.写文本文件。 2 : 保存到SQLSERVER数据库,运行完之后发现两者数据不一致,哪位大神能指导一下数据库保存应该怎么处理?是大并发导致数据库来不及插入吗? 但是系统没有任何报错。。。。 
...全文
589 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
asus00 2018-01-04
  • 打赏
  • 举报
回复
没有任何报错,在抓取部分数据的时候没有发生丢失。在抓取整个浦东区的房产的时候,日志中打印出的数据和实际保存到数据库中的有相当大的差距。看过数据库一直只有单连接,这正常吗? 不是多线程嘛?
oyljerry 2018-01-02
  • 打赏
  • 举报
回复
插入数据库的时候加一些错误信息处理。是否有错误信息返回。这样就可以知道是插入什么数据的时候失败了
陈年椰子 2018-01-02
  • 打赏
  • 举报
回复
是不是数据i有引号之类的。

37,720

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • IT.BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧