关于python爬虫同时抓取上万个网站的方法

prog_li 爬虫工程师  2017-12-04 11:38:04
这段时间公司要求抓全国的一类网站,网站虽然都是一类的,但是结构也是各有不同,目前是抓了几十个上百个测试,我使用的是scrapy多爬虫爬取,感觉也不是特别好,所以在寻找更好的方法或者框架,看看有没有一些好的建议
...全文
1723 3 1 打赏 收藏 举报
写回复
3 条回复
切换为时间正序
当前发帖距今超过3年,不再开放新的回复
发表回复
标签的定位,定位成功的概率,数据和想要的数据对应的上的概率
  • 打赏
  • 举报
回复
kevinkkkf 2018-03-13
这个对算法要求很高啊
  • 打赏
  • 举报
回复
相关推荐
发帖
其他
加入

215

社区成员

企业开发 其他
申请成为版主
帖子事件
创建了帖子
2017-12-04 11:38
社区公告
暂无公告