多线程WebBrowser读取网页的问题

快跑稻草人 2014-08-31 08:44:06

我想用多线程读取这个网址的东西

http://www.1396me.com/pk10/

，但是用WebRequest服务器会拒绝，如果用WebBrowser该怎么用多线程访问，求教大神。

...全文

179 10 打赏收藏转发到动态举报

写回复

用AI写文章

10 条回复

切换为时间正序

请发表友善的回复…

发表回复

datahandler2 2014-09-01

打赏
举报

引用 9 楼 ljaahh 的回复:

[quote=引用 8 楼 tiancaolin 的回复:] WebRequest实际上就是模拟人的正常浏览操作。。。跟WebBrowser本质是一样的。所以说如果WebRequest会被屏蔽，WebBrowser也是一样的，别浪费时间去钻这个牛角尖。你应该换个思维：比如减少WebRequest的单位时间内请求次数+多IP代理方式去抓取。

我现在已经有了一种方法，用php抓取可以，但是webrequest一次都不行[/quote] 不管你用PHP、jsp、还是python 或是c# 都一样的。。。。用webrequest不行，那是你自己代码写的有问题。。。

快跑稻草人 2014-09-01

打赏
举报

引用 8 楼 tiancaolin 的回复:

WebRequest实际上就是模拟人的正常浏览操作。。。跟WebBrowser本质是一样的。所以说如果WebRequest会被屏蔽，WebBrowser也是一样的，别浪费时间去钻这个牛角尖。你应该换个思维：比如减少WebRequest的单位时间内请求次数+多IP代理方式去抓取。

我现在已经有了一种方法，用php抓取可以，但是webrequest一次都不行

datahandler2 2014-09-01

打赏
举报

WebRequest实际上就是模拟人的正常浏览操作。。。跟WebBrowser本质是一样的。所以说如果WebRequest会被屏蔽，WebBrowser也是一样的，别浪费时间去钻这个牛角尖。你应该换个思维：比如减少WebRequest的单位时间内请求次数+多IP代理方式去抓取。

rayyu1989 2014-09-01

打赏
举报

 request.ContentType = "application/x-www-form-urlencoded; charset=UTF-8";  
                request.UserAgent = "Mozilla/5.0 (Windows NT 5.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1";  
                request.Referer = "http://网页来路";

等等等等

快跑稻草人 2014-09-01