WebMagic同时启动多种子URL,如何处理?

mengfeihui 2018-03-07 08:55:30
最近在使用WebMagic写爬虫,有个问题一直没有想明白,希望高手解答。对于要爬取多个网站,如163、和讯等等网站,有多个种子URL,这样的是怎么启动同时进行爬取的,我初步考虑用线程,但是想到假如有上百种子URL,开上百个线程,会不会影响性能,请高手解答,跪谢!!!!
...全文
609 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
mengfeihui 2018-03-07
  • 打赏
  • 举报
回复
顶!d=====( ̄▽ ̄*)b

50,573

社区成员

发帖
与我相关
我的任务
社区描述
Java相关技术讨论
javaspring bootspring cloud 技术论坛(原bbs)
社区管理员
  • Java相关社区
  • 小虚竹
  • 谙忆
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧