[C#多线程网络爬虫]开10个线程不停歇地访问它的网站怎么样?

[bianxinhuan]

小弟的需求是从一个网站上定期抓取数据下来,有12万条数据,我现在开4个线程,要6个小时左右才能抓完.我想开10个线程咋样?不知道一般网站的并发怎么样?

[willhuo]

必须有访问链接的上线，我测试过一个网站，并发连接数300，超过这个数就不行了

[gzw13999]

看一个页面读取数据多少次. 带宽允许的话一般网站随便100个线程没问题.

[gzw13999]

除非对方服务器屏蔽你IP 你UserAgent 伪装成百度蜘蛛吧,会好些.

[what是个穷孩纸]

楼主采集的是淘宝么

[jiaoshiyao]

引用 8 楼 WM_JAWIN 的回复:

这也问？直接开个10线程不得了。试了再说

你的回答符合你的头像

[threenewbee]

如果你开两个这样的程序，每个程序速度不减慢，那么你可以考虑增加线程。 否则没用。

[bwangel]

干这种事要低调一点，小心被封。 话说12万数据要6小时，你确信你的程序没问题？就是单线程，也是一秒多一条就抓完了。 慢得不可议呀

[bianxinhuan]

引用 15 楼 bwangel 的回复:

干这种事要低调一点，小心被封。 话说12万数据要6小时，你确信你的程序没问题？就是单线程，也是一秒多一条就抓完了。 慢得不可议呀

你自己算算,单线程，也是一秒多一条就抓完了。那一小时一个线程不就才执行3600条吗?

[bianxinhuan]

引用 14 楼 caozhy 的回复:

如果你开两个这样的程序，每个程序速度不减慢，那么你可以考虑增加线程。 否则没用。

还是4个线程好了,多了其实也是一台机器的资源,发现并有太大差别.

[bianxinhuan]

引用 12 楼 Hsuifengershi 的回复:

楼主采集的是淘宝么

不是淘宝,嘿嘿.他能让我采集吗

[what是个穷孩纸]

引用 18 楼 bianxinhuan 的回复:

[quote=引用 12 楼 Hsuifengershi 的回复:] 楼主采集的是淘宝么

不是淘宝,嘿嘿.他能让我采集吗[/quote] 让的 不过你要及时换ip不然封你ip的 话说我只会c#

[bianxinhuan]

引用 19 楼 Hsuifengershi 的回复:

[quote=引用 18 楼 bianxinhuan 的回复:] [quote=引用 12 楼 Hsuifengershi 的回复:] 楼主采集的是淘宝么

不是淘宝,嘿嘿.他能让我采集吗[/quote] 让的 不过你要及时换ip不然封你ip的 话说我只会c# [/quote]我也C#,不能换IP的,因为程序运行在服务器上

[what是个穷孩纸]

引用 20 楼 bianxinhuan 的回复:

[quote=引用 19 楼 Hsuifengershi 的回复:] [quote=引用 18 楼 bianxinhuan 的回复:] [quote=引用 12 楼 Hsuifengershi 的回复:] 楼主采集的是淘宝么

不是淘宝,嘿嘿.他能让我采集吗[/quote] 让的 不过你要及时换ip不然封你ip的 话说我只会c# [/quote]我也C#,不能换IP的,因为程序运行在服务器上[/quote] 可以换的 因为你访问服务器的时候可以设置一些参数 ip port 等等 打开Google浏览器F12看下访问的文件头你就明白了

[娃都会打酱油了]

不定期换代理啊。。。。

[what是个穷孩纸]

引用 22 楼 starfd 的回复:

不定期换代理啊。。。。

引用 21 楼 Hsuifengershi 的回复:

[quote=引用 20 楼 bianxinhuan 的回复:] [quote=引用 19 楼 Hsuifengershi 的回复:] [quote=引用 18 楼 bianxinhuan 的回复:] [quote=引用 12 楼 Hsuifengershi 的回复:] 楼主采集的是淘宝么

不是淘宝,嘿嘿.他能让我采集吗[/quote] 让的 不过你要及时换ip不然封你ip的 话说我只会c# [/quote]我也C#,不能换IP的,因为程序运行在服务器上[/quote] 可以换的 因为你访问服务器的时候可以设置一些参数 ip port 等等 打开Google浏览器F12看下访问的文件头你就明白了[/quote] 红x的都是牛人啊

[bianxinhuan]

引用 23 楼 Hsuifengershi 的回复:

[quote=引用 22 楼 starfd 的回复:] 不定期换代理啊。。。。

引用 21 楼 Hsuifengershi 的回复:

[quote=引用 20 楼 bianxinhuan 的回复:] [quote=引用 19 楼 Hsuifengershi 的回复:] [quote=引用 18 楼 bianxinhuan 的回复:] [quote=引用 12 楼 Hsuifengershi 的回复:] 楼主采集的是淘宝么

不是淘宝,嘿嘿.他能让我采集吗[/quote] 让的 不过你要及时换ip不然封你ip的 话说我只会c# [/quote]我也C#,不能换IP的,因为程序运行在服务器上[/quote] 可以换的 因为你访问服务器的时候可以设置一些参数 ip port 等等 打开Google浏览器F12看下访问的文件头你就明白了[/quote] 红x的都是牛人啊[/quote]我明白了,原来说的是请求头

[what是个穷孩纸]

引用 24 楼 bianxinhuan 的回复:

[quote=引用 23 楼 Hsuifengershi 的回复:] [quote=引用 22 楼 starfd 的回复:] 不定期换代理啊。。。。

引用 21 楼 Hsuifengershi 的回复:

[quote=引用 20 楼 bianxinhuan 的回复:] [quote=引用 19 楼 Hsuifengershi 的回复:] [quote=引用 18 楼 bianxinhuan 的回复:] [quote=引用 12 楼 Hsuifengershi 的回复:] 楼主采集的是淘宝么

不是淘宝,嘿嘿.他能让我采集吗[/quote] 让的 不过你要及时换ip不然封你ip的 话说我只会c# [/quote]我也C#,不能换IP的,因为程序运行在服务器上[/quote] 可以换的 因为你访问服务器的时候可以设置一些参数 ip port 等等 打开Google浏览器F12看下访问的文件头你就明白了[/quote] 红x的都是牛人啊[/quote]我明白了,原来说的是请求头[/quote] 是的

[u010458934]

引用 21 楼 Hsuifengershi 的回复:

[quote=引用 20 楼 bianxinhuan 的回复:] [quote=引用 19 楼 Hsuifengershi 的回复:] [quote=引用 18 楼 bianxinhuan 的回复:] [quote=引用 12 楼 Hsuifengershi 的回复:] 楼主采集的是淘宝么

不是淘宝,嘿嘿.他能让我采集吗[/quote] 让的 不过你要及时换ip不然封你ip的 话说我只会c# [/quote]我也C#,不能换IP的,因为程序运行在服务器上[/quote] 可以换的 因为你访问服务器的时候可以设置一些参数 ip port 等等 打开Google浏览器F12看下访问的文件头你就明白了[/quote] 请问怎么换ip啊 我最近在做相关的东西，ip老是被封，不知道怎么弄，请指教一下啊~

[浪子er]

第一次写数据抓取 ，我开了100个线程。。。瞬间蛋疼，各种控制不住

[what是个穷孩纸]

引用 26 楼 u010458934 的回复:

[quote=引用 21 楼 Hsuifengershi 的回复:] [quote=引用 20 楼 bianxinhuan 的回复:] [quote=引用 19 楼 Hsuifengershi 的回复:] [quote=引用 18 楼 bianxinhuan 的回复:] [quote=引用 12 楼 Hsuifengershi 的回复:] 楼主采集的是淘宝么

不是淘宝,嘿嘿.他能让我采集吗[/quote] 让的 不过你要及时换ip不然封你ip的 话说我只会c# [/quote]我也C#,不能换IP的,因为程序运行在服务器上[/quote] 可以换的 因为你访问服务器的时候可以设置一些参数 ip port 等等 打开Google浏览器F12看下访问的文件头你就明白了[/quote] 请问怎么换ip啊 我最近在做相关的东西，ip老是被封，不知道怎么弄，请指教一下啊~[/quote]百度下