WebMagic同时启动多种子URL，如何处理？

mengfeihui 2018-03-07 08:55:30

最近在使用WebMagic写爬虫，有个问题一直没有想明白，希望高手解答。对于要爬取多个网站，如163、和讯等等网站，有多个种子URL，这样的是怎么启动同时进行爬取的，我初步考虑用线程，但是想到假如有上百种子URL，开上百个线程，会不会影响性能，请高手解答，跪谢！！！！

...全文

641 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

mengfeihui 2018-03-07

打赏
举报

回复

顶！d=====(￣▽￣*)b

`Seeder`负责提供初始的URL种子，`PageProcessor`处理抓取到的页面并提取所需数据，`Downloader`负责下载网页，而`Scheduler`管理待抓取的URL队列，确保爬虫按特定规则进行工作。 WebMagic的安装与配置相对简单，...

1. 初始化：设置WebMagic的配置，包括启动爬虫、定义URL种子和内容解析规则。 2. 网页抓取：WebMagic开始抓取网页，将抓取到的内容（如HTML源码）传递给解析器。 3. 内容处理：解析器使用正则表达式或CSS选择器提取...

WebMagic主要由四个组件构成：`Seeder`（种子生成器）、`PageProcessor`（页面处理器）、`Downloader`（下载器）和`Pipeline`（管道）。`Seeder`负责提供初始的URL，`Downloader`用于下载网页内容，`PageProcessor`...

4. 可能使用了线程池来并发处理多个网页，提高爬取效率。 5. 数据存储方案可能包括MySQL、MongoDB或者文件系统，用于保存爬取到的数据。 6. 日志框架如Log4j记录运行日志，便于调试和监控。在"crawler"这个文件夹...

4. **实现Pipeline**：创建一个类实现`Pipeline`接口，当PageProcessor处理完页面后，Pipeline将接收到处理结果，这时可以将图片URL保存到本地，或者上传到服务器。 5. **启动爬虫**：创建一个主类，实例化`Spider`...

51,399

社区成员

85,852

社区内容

发帖

与我相关

我的任务

javaspring bootspring cloud 技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章