社区
C#
帖子详情
WebBrowser与HttpWebRequest的问题
Methodor
2008-07-05 10:39:16
类似爬虫程序,在登入程序时使用WebBrowser进入,进入后希望通过HttpWebRequest方式来获得web反馈,但由于cookie等原因,后台反馈的数据按位登入处理了,如何解决?
...全文
342
5
打赏
收藏
WebBrowser与HttpWebRequest的问题
类似爬虫程序,在登入程序时使用WebBrowser进入,进入后希望通过HttpWebRequest方式来获得web反馈,但由于cookie等原因,后台反馈的数据按位登入处理了,如何解决?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
5 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
jzywh
2008-07-10
打赏
举报
回复
HttpWebRequest 要加cookieCOntainer
粉红色的火烈鸟
2008-07-09
打赏
举报
回复
d
Methodor
2008-07-09
打赏
举报
回复
[Quote=引用 2 楼 zzultc 的回复:]
关键看你登陆时的cookies了。
一般可以这样:
1、先使用WebBrowser登陆网站,因为很多网站登陆有验证码,还很难识别,只有人工来搞。
然后使用平台调用,InternetGetCookies函数从系统里取道这个网站的cookies,有时候这个函数会取不全,大多情况ok。如果不全,只有使用一楼的办法,socket。
2、然后构造CookieContainer,把这些cookies添加到里边,每次HttpWebRequest的时候指定这个CookieContainer,那么HttpWebReques…
[/Quote]
我采用的就是这种方式,利用CookieContainer来处理,先get再set的方式,但具体代码方面始终有问题,希望能够提供具体代码,谢谢!
cpio
2008-07-06
打赏
举报
回复
那就只能用更底层的Socket了,可能HttpWebRequest会自动把Cookie传过去,要不然对于希望传Cookie的开发人员就太不方便了.
zzultc
2008-07-06
打赏
举报
回复
关键看你登陆时的cookies了。
一般可以这样:
1、先使用WebBrowser登陆网站,因为很多网站登陆有验证码,还很难识别,只有人工来搞。
然后使用平台调用,InternetGetCookies函数从系统里取道这个网站的cookies,有时候这个函数会取不全,大多情况ok。如果不全,只有使用一楼的办法,socket。
2、然后构造CookieContainer,把这些cookies添加到里边,每次HttpWebRequest的时候指定这个CookieContainer,那么HttpWebRequest会自动从里边取到Cookie;
如果每次收到HttpWebResponse的cookie有变,这个CookieContainer会自动变化,不用管它。
这个可以对付大多数的需要。
当然很多网站太变态,每次请求都要更换cookie,并且,不是在页面里更换的,有的是在脚本里,更有甚者,会在你请求该页某个图片时更换cookie。
这些只有靠仔细观察啦。
C#
Web
Browser
获取网站数据
近期有工作任务,要获取一个目标网页的数据,然后写了下爬虫,使用了
Http
Web
Request
和
Web
Client发现都报429错误,后面采用
Web
Browser
伪装成浏览器访问,绕过了对方的反爬虫程序,另外目标网页还有一些比较棘手的反爬虫处理,在程序里都已经解决。目标网页地址:https://china.airasiago.com/Hotel-Search?destination=曼谷市中心,+曼谷,+泰国&startDate=2018/06/25&endDate=2018/06/26&adults=2®ionId=6200258&sort=recommended
网上收集的
Web
Browser
的Cookie操作
网上收集的
Web
Browser
的Cookie操作 1、将
Web
Browser
的cookie信息传给
Http
Web
Request
. 2、
Web
Browser
设置Cookie
HtmlAgilityPack 最新版本1.11.18 net 4.0 net 4.5版本 Dll 文件
HtmlAgilityPack(以下简称HAP)是一个基于.Net的、第三方免费开源的微型类库,主要用于在服务器端解析html文档。 HtmlAgilityPack为网页提供了标准的DOM API和XPath导航。使用
Web
Browser
和
Http
Web
Request
下载的网页可以用Html Agility Pack来解析。
HtmlAgilityPack.rar
HtmlAgilityPack(以下简称HAP)是一个基于.Net的、第三方免费开源的微型类库,主要用于在服务器端解析html文档。 HtmlAgilityPack为网页提供了标准的DOM API和XPath导航。使用
Web
Browser
和
Http
Web
Request
下载的网页可以用Html Agility Pack来解析。
C#网络编程全面教程(c#爬虫)
1.
Web
Client类 1 (1)
Web
Client类的主要方法 1 (2) DownloadData()方法 1 (3) OpenRead()方法 1 (4) UploadData()方法 1 (5) 总结
Web
Client类 2 2.
Web
Request类与
Web
Response类 2 (1)
Web
Request类与
Web
Response类简介 2 (2) 使用示例 2 (3)
Web
Request类与
Web
Response类的子类(继承结构) 2 (4)
Http
Web
Request
类与Http
Web
Response类使用示例 2 (5) 身份验证 2 (6) 使用代理 2 (7) 异步请求 2 3.
Web
Browser
控件 3 (1) 使用
Web
Browser
控件 3 (2)
Web
Browser
控件常用属性、方法与事件 3 4. 网络工具类(URL、IP、DNS) 3 (1) Uri与UriBuilder 3 (2) IPAddress、IPHostEntry 与Dns 3 (3) 解码与编码(Encoding) 4 5. 底层的网络协议类 4 (1) Socket 4 (2) NetworkStream、TcpClient与TcpListener 5 (3) UdpClient 5 (4) SmtpClient 5
C#
110,021
社区成员
642,595
社区内容
发帖
与我相关
我的任务
C#
.NET技术 C#
复制链接
扫一扫
分享
社区描述
.NET技术 C#
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
让您成为最强悍的C#开发者
试试用AI创作助手写篇文章吧
+ 用AI写文章