社区
Java
帖子详情
WebMagic同时启动多种子URL,如何处理?
mengfeihui
2018-03-07 08:55:30
最近在使用WebMagic写爬虫,有个问题一直没有想明白,希望高手解答。对于要爬取多个网站,如163、和讯等等网站,有多个种子URL,这样的是怎么启动同时进行爬取的,我初步考虑用线程,但是想到假如有上百种子URL,开上百个线程,会不会影响性能,请高手解答,跪谢!!!!
...全文
638
1
打赏
收藏
WebMagic同时启动多种子URL,如何处理?
最近在使用WebMagic写爬虫,有个问题一直没有想明白,希望高手解答。对于要爬取多个网站,如163、和讯等等网站,有多个种子URL,这样的是怎么启动同时进行爬取的,我初步考虑用线程,但是想到假如有上百种子URL,开上百个线程,会不会影响性能,请高手解答,跪谢!!!!
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
1 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
mengfeihui
2018-03-07
打赏
举报
回复
顶!d=====( ̄▽ ̄*)b
爬虫框架,
WebMagic
,依赖包下载
爬虫框架,
WebMagic
,依赖包下载
基于Lucene+
webmagic
实现的垂直搜索引擎
本实例实现了lucene+
webmagic
实现了一个基于交通领域的搜索引擎,前端使用bootstrap,使用时先运行索引,将索引建立
WebMagic
(Java)简单爬虫实现,实现抓取数据,并导出到excel文件
WebMagic
(Java)爬虫实现,实现数据爬取,并导出到excel文件
java
webmagic
实现的爬虫
Java+
webmagic
实现的爬虫,爬取江苏政府采购网,集成了百度ocr识别以及人工验证码
处理
基于
webmagic
爬虫表情包案例.zip
基于
webmagic
爬虫表情包案例.zip
Java
51,396
社区成员
85,839
社区内容
发帖
与我相关
我的任务
Java
Java相关技术讨论
复制链接
扫一扫
分享
社区描述
Java相关技术讨论
java
spring boot
spring cloud
技术论坛(原bbs)
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章