WebMagic同时启动多种子URL，如何处理？

mengfeihui 2018-03-07 08:55:30

最近在使用WebMagic写爬虫，有个问题一直没有想明白，希望高手解答。对于要爬取多个网站，如163、和讯等等网站，有多个种子URL，这样的是怎么启动同时进行爬取的，我初步考虑用线程，但是想到假如有上百种子URL，开上百个线程，会不会影响性能，请高手解答，跪谢！！！！

...全文

598 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

mengfeihui 2018-03-07

打赏
举报

回复

顶！d=====(￣▽￣*)b

WebMagic企业开发，比HttpClient和JSoup更方便WebMagic有DownLoad，PageProcessor，Schedule，Pipeline四大组件，并有Spider将他们组织起来，这四大组件对应就是爬虫的下载，处理，管理，持久化等功能。

可忽略的小背景我在第一家A公司的时候接触过通用化的爬虫框架，其中，下载，URL管理，启动爬虫任务，抽取都是自己团队实现的，一向喜欢开源和对比的我接触到了Webmagic，发现它只要实现一个PageProcessor，传递URL处理解析就可以了。后来我在B公司从事亚马逊网站的爬虫工作，用Webmagic+Spring+MySQL+MyBatis+Redis实现的，其中用到了Spring的IOC，A

WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，可以快速开发出一个高效、易维护的爬虫。

网络爬虫21. WebMagic介绍2. WebMagic功能3. 爬虫分类[4. 使用WebMagic爬取51job上的招聘信息](https://editor.csdn.net/md?articleId=106706999) 1. WebMagic介绍基础知识： WebMagic是一款爬虫框架，其底层用到了HttpClient和Jsoup，让我们能够更方便的开发爬虫。 WebMagic项目代码分为核心和扩展两部分。核心部分(webmagic-core)是一个精简的、模块化的爬虫实现，而扩展部分则包括

50,348

社区成员

85,704

社区内容

发帖

与我相关

我的任务

javaspring bootspring cloud 技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章