使用socket抓去网页数据
自己封了一个MYsocket,底层用的是socket ,(需要登录)用来抓网页数据。
我同时开10个线程去抓,但是返回的结果并不是线程启动的顺序,有可能最先启动的线程最后才反回结果(不知道是为什么)。
目前我已经实现了一些功能:
1.socket长连接
2.自动登录,并通过时钟刷新某个网页来保持session不失效
3. System.Net.ServicePointManager.DefaultConnectionLimit = 1000
如果我想尽可能的提高抓取的速度,需要怎么做?
PS:白天人多的时候服务器非常卡,闲时完整的一个来回3s左右,最卡的时候差不多要15s。
200分不够,可以再开帖放分。谢谢了