关于python爬虫同时抓取上万个网站的方法

prog_cxy 2017-12-04 11:38:04

这段时间公司要求抓全国的一类网站，网站虽然都是一类的，但是结构也是各有不同，目前是抓了几十个上百个测试，我使用的是scrapy多爬虫爬取，感觉也不是特别好，所以在寻找更好的方法或者框架，看看有没有一些好的建议

...全文

2139 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

风云路上想改名 2019-01-17

打赏
举报

回复

标签的定位，定位成功的概率，数据和想要的数据对应的上的概率

kevinkkkf 2018-03-13

打赏
举报

回复

这个对算法要求很高啊

什么是网络爬虫？网络爬虫（Web Spider），又被称为网页蜘蛛，是一种按照一定的规则，自动地抓取网站信息的程序或者脚本。网络蜘蛛是通过网页的链接地址来寻找网页，从网站某一个页面开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。爬虫流程用户获取网络数据的方式：方式1：浏览器提交请求—>下载...

基础知识讲解部分（网络爬虫入门）网络爬虫就是自动地从互联网上获取程序。想必你听说过这个词汇，但是又不太了解，大家会觉得掌握网络爬虫还是要花一些功夫的，因此这个门槛让你有点望而却步。我常常觉得计算机和互联网的发明给人类带来了如此大的便利，让人们不用阅读说明书就知道如何上手，但是偏偏编程的道路却又是如此艰辛。因此，我会尽可能做到浅显易懂，希望读者能够读懂我说了什么，从而能够享受到其中的快乐。基本介...

通过学习本文的内容，读者应掌握 Python 网络爬虫的高级用法，并能够应对反爬虫机制、抓取动态网页、实现分布式和异步爬虫。网络爬虫技术在数据抓取、信息采集等方面有着广泛的应用，掌握这些技能将大大提升数据处理和分析的效率。

欢迎大家来到“Python从零到壹”，在这里我将分享约200篇Python系列文章，带大家一起去学习和玩耍，看看Python这个有趣的世界。所有文章都将结合案例、代码和作者的经验讲解，真心想把自己近十年的编程经验分享给大家。第四篇文章将开启网络爬虫之旅，首先介绍基础知识及正则表达式的爬虫，希望对您有所帮助，文章中不足之处也请海涵。

又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。网络爬虫可以根据指定的规则，从互联网上下载网页、图片、视频等内容，并抽取其中的有用信息进行处理。网络爬虫的工作流程包括获取网页源代码、解析网页内容、存储数据等步骤。根据其目的和工作方式的不同，网络爬虫可以分为多种类型。常见的网络爬虫包括通用爬虫、聚焦爬虫、增量式爬虫等。

243

社区成员

4,811

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章