WebMagic同时启动多种子URL，如何处理？

mengfeihui 2018-03-07 08:55:30

最近在使用WebMagic写爬虫，有个问题一直没有想明白，希望高手解答。对于要爬取多个网站，如163、和讯等等网站，有多个种子URL，这样的是怎么启动同时进行爬取的，我初步考虑用线程，但是想到假如有上百种子URL，开上百个线程，会不会影响性能，请高手解答，跪谢！！！！

...全文

608 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

mengfeihui 2018-03-07

打赏
举报

回复

顶！d=====(￣▽￣*)b

可忽略的小背景我在第一家A公司的时候接触过通用化的爬虫框架，其中，下载，URL管理，启动爬虫任务，抽取都是自己团队实现的，一向喜欢开源和对比的我接触到了Webmagic，发现它只要实现一个PageProcessor，传递URL处理解析就可以了。后来我在B公司从事亚马逊网站的爬虫工作，用Webmagic+Spring+MySQL+MyBatis+Redis实现的，其中用到了Spring的IOC，A

WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，可以快速开发出一个高效、易维护的爬虫。

网络爬虫21. WebMagic介绍2. WebMagic功能3. 爬虫分类[4. 使用WebMagic爬取51job上的招聘信息](https://editor.csdn.net/md?articleId=106706999) 1. WebMagic介绍基础知识： WebMagic是一款爬虫框架，其底层用到了HttpClient和Jsoup，让我们能够更方便的开发爬虫。 WebMagic项目代码分为核心和扩展两部分。核心部分(webmagic-core)是一个精简的、模块化的爬虫实现，而扩展部分则包括

webmagic的目标一般来说，一个爬虫包括几个部分：页面下载页面下载是一个爬虫的基础。下载页面之后才能进行其他后续操作。链接提取一般爬虫都会有一些初始的种子URL，但是这些URL对于爬虫是远远不够的。爬虫在爬页面的时候，需要不断发现新的链接。 URL管理最基础的URL管理，就是对已经爬过的URL和没有爬的URL做区分，防止重复爬取。内容分析和持久

50,531

社区成员

85,616

社区内容

发帖

与我相关

我的任务

javaspring bootspring cloud 技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章