社区
脚本语言
帖子详情
Scrapy 抓取数据之后将其保存到数据库的时候发生丢失
asus00
2018-01-02 02:11:48
最近在研究Scrapy,写了一个爬虫,爬去链家数据。但在将爬去的数据保存到数据库的时候发生数据丢失,为此我用了两种方式保存爬去的数据:1.写文本文件。 2 : 保存到SQLSERVER数据库,运行完之后发现两者数据不一致,哪位大神能指导一下数据库保存应该怎么处理?是大并发导致数据库来不及插入吗? 但是系统没有任何报错。。。。
...全文
589
3
打赏
收藏
Scrapy 抓取数据之后将其保存到数据库的时候发生丢失
最近在研究Scrapy,写了一个爬虫,爬去链家数据。但在将爬去的数据保存到数据库的时候发生数据丢失,为此我用了两种方式保存爬去的数据:1.写文本文件。 2 : 保存到SQLSERVER数据库,运行完之后发现两者数据不一致,哪位大神能指导一下数据库保存应该怎么处理?是大并发导致数据库来不及插入吗? 但是系统没有任何报错。。。。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
asus00
2018-01-04
打赏
举报
回复
没有任何报错,在抓取部分数据的时候没有发生丢失。在抓取整个浦东区的房产的时候,日志中打印出的数据和实际保存到数据库中的有相当大的差距。看过数据库一直只有单连接,这正常吗? 不是多线程嘛?
oyljerry
2018-01-02
打赏
举报
回复
插入数据库的时候加一些错误信息处理。是否有错误信息返回。这样就可以知道是插入什么数据的时候失败了
陈年椰子
2018-01-02
打赏
举报
回复
是不是数据i有引号之类的。
Scrapy
爬虫框架实战和项目管理
单纯
Scrapy
爬虫脚本写好了执行
抓取
任务时
数据
保存
到哪里?ES、Mongodb、MySQL?如果做过开发的人都知道存 Mongodb 中,那些说把
数据
存到 MySQL 的人基本上99%是从培训机构里出来的,因为大多数培训机构爬虫是不讲 ...
Scrapy
抓取
框架的介绍
最近在学Python,同时也在学如何使用python
抓取
数据
,于是就被我发现了这个非常受欢迎的Python
抓取
框架
Scrapy
,下面一起学习下
Scrapy
的架构,便于更好的使用这个工具。 一、概述 下图显示了
Scrapy
的大体架构,其中...
逆向爬虫18
Scrapy
抓取
全站
数据
和Redis入门
逆向爬虫18
Scrapy
抓取
全站
数据
和Redis入门 一、全站
数据
抓取
1. 什么是
抓取
全站
数据
? 我们曾经在过猪八戒,图片之家,BOSS直聘等网站,利用网站官方提供的搜索功能,搜索指定关键词的内容,并把这些内容都
抓取
下来...
爬虫学习笔记(十三)——
scrapy
-redis(二):存储到MySQL、
Scrapy
项目部署
一、redis
数据
存储到MySQL 因为开启了公共管道,所以两个项目的公共区域 redis 里会有两个项目的
数据
,是完整的
数据
,可以持久化到MySQL里进行持久化的存储 原因:redis存储是基于内存的,
数据
多可能会影响运行...
scrapy
Scrapy
,Python开发的一个快速、高层次的屏幕
抓取
和web
抓取
框架,用于
抓取
web站点并从页面中提取结构化的
数据
。
Scrapy
用途广泛,可以用于
数据
挖掘、监测和自动化测试.
Scrapy
主要包括了以下组件: 引擎(
Scrapy
) ...
脚本语言
37,720
社区成员
34,239
社区内容
发帖
与我相关
我的任务
脚本语言
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
复制链接
扫一扫
分享
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
试试用AI创作助手写篇文章吧
+ 用AI写文章