关于POST抓取网页的问题

[Leixian]

正在写一个抓取远程网页的程序在微信公众平台上用，但被验证码给难为住了

我现在能做到的是在微信自带的浏览器上打开这个网页，然后填写内容POST，返回原始查询页面

他们原始页面是用的ASP，验证码错误的话 Redirect 到首页，然后JS alert 报错。

今天刚发现安卓系统上微信的浏览器不显示验证码（我一直用的WP系统测试的），他们的验证码文件是xxx.asp

但POST过去的时候可以绕过验证码，即便你不输入也一样能查询到信息，而IE浏览器则不行

我用程序模拟POST抓取也不行，安卓上的浏览器到底是怎么做到的呢？

有没有写过类似程序的，分享一下怎么突破验证码呢？？谢谢！

[鸭梨山大帝]

浏览器会在header 发送UserAgent 这个MetaData 给服务器,告诉服务器是什么类型的浏览器. 如果你想要模拟Android/iOS的移动浏览器,那么模拟类似的UserAgent即可. 不知道如何取得该MetaData,可以使用Fiddler,Chrome/FireFox自带调试进行监控查看.

[鸭梨山大帝]

另外"怎么突破验证码". 这个没有什么捷径可走,除了猜算法,ORC,别无他法.(当然还有无敌的人工法)

[Leixian]

引用 1 楼 Lost_Painting 的回复:

浏览器会在header 发送UserAgent 这个MetaData 给服务器,告诉服务器是什么类型的浏览器. 如果你想要模拟Android/iOS的移动浏览器,那么模拟类似的UserAgent即可. 不知道如何取得该MetaData,可以使用Fiddler,Chrome/FireFox自带调试进行监控查看.

倒不是说要模拟哪个浏览器。可以肯定的是那个服务器肯定不会为哪种浏览器做单独的优化 我是在想是不是安卓的浏览器缺少哪些功能？比如禁用了Javascript？ 貌似也没有，因为我提交的时候有个JS的赋值动作。 可就是理解不了为什么它可以没有错误的提示就直接POST成功了～～