51,397
社区成员
发帖
与我相关
我的任务
分享WebMagic同时启动多种子URL，如何处理？
最近在使用WebMagic写爬虫，有个问题一直没有想明白，希望高手解答。对于要爬取多个网站，如163、和讯等等网站，有多个种子URL，这样的是怎么启动同时进行爬取的，我初步考虑用线程，但是想到假如有上百种子URL，开上百个线程，会不会影响性能，请高手解答，跪谢！！！！
...全文
请发表友善的回复…
发表回复
mengfeihui 2018-03-07
- 打赏
- 举报
顶！d=====(￣▽￣*)b
