[quote=引用 3 楼 nai598455803 的回复:] [quote=引用 2 楼 xiaohuashenshou 的回复:] 如果确实是因为网络速度太慢,那就没办法了,如果不是,可以采用多线程的方式进行下载,但是多线程的个数要根据你服务器的cpu的性能来定,如果是建议CPU的核数乘以2
开源中国中有个开源项目,关于网页爬虫的,使用的就是多线程做的,效率蛮高的,有兴趣可以下载看一下,希望能帮到你。。。
[quote=引用 2 楼 xiaohuashenshou 的回复:] 如果确实是因为网络速度太慢,那就没办法了,如果不是,可以采用多线程的方式进行下载,但是多线程的个数要根据你服务器的cpu的性能来定,如果是建议CPU的核数乘以2
如果确实是因为网络速度太慢,那就没办法了,如果不是,可以采用多线程的方式进行下载,但是多线程的个数要根据你服务器的cpu的性能来定,如果是建议CPU的核数乘以2
81,090
社区成员
341,731
社区内容
加载中
试试用AI创作助手写篇文章吧