37,720
社区成员
发帖
与我相关
我的任务
分享Python爬虫只更新更新过的数据
有一个爬虫，每5秒爬一个xml网页，
http://www.228cai.com/data/yp101.xml
把每行数据都传到数据库里
这个网页会一直更新，但有很多行在5秒内它是不更新的。
现在的做法很笨，删除数据库所有数据，再重新Insert全部，效率很慢。
现在想换成另外的做法，第一次爬的时候Insert所有数据，5秒后开始第二次爬虫以后只更新更新过的数据，求教做法。
http://www.228cai.com/data/yp101.xml
把每行数据都传到数据库里
这个网页会一直更新，但有很多行在5秒内它是不更新的。
现在的做法很笨，删除数据库所有数据，再重新Insert全部，效率很慢。
现在想换成另外的做法，第一次爬的时候Insert所有数据，5秒后开始第二次爬虫以后只更新更新过的数据，求教做法。
...全文
请发表友善的回复…
发表回复
混沌鳄鱼 2016-11-24
- 打赏
- 举报
你这个数据非常简单量又不大。
第一、数据表建立主键防止重复插入。看着好象第三列应该可以做了个主键，或者第二列+第三列联合主键。
第二、建立内存缓存，比如用redis，或者就用sqlite：memory, 批量写入数据库
CDSoftwareWj 2016-08-15
- 打赏
- 举报
放内存啊~~~，有变动再更改啊
羽飞 2016-08-13
- 打赏
- 举报
这得排重啊，数据量有多大？看看能不能用内存做缓存，排下重，再插入到数据库
sanxiaochengyu 2016-08-12
- 打赏
- 举报
如果有字段能标记是否有更新过，就比较简单，如果没有，只能通过和数据库里面的内容来比较的话，还是直接删除再插入比较简单
