HttpClient做网页爬虫遇到的问题!!!
我的目的是,使用HttpClient解析人人网,先实现登陆,然后在实现发状态。
解析登陆时,我找到了人人网的登陆界面,查看源码,发现带有账号和密码的那个表单提交的地址是http://www.renren.com/PLogin.do,然后我是用Httpclient4.1.3的jar包进行编程,实现了登陆,比较麻烦的是这个地址中间还跳转了一次,所以需要用到Httpclient重定向,不过最后还是登陆成功了。
现在的问题是:我用同样的方法找了一下发状态那个表单提交的地址是http://shell.renren.com/305219253/status,但是我照原来那样做却不能发帖,在网上我找了一下,有高手实现了Httpclient解析人人网发状态,我看了一下源码,结果人家这里的表单提交的地址并不是这个。
所以在这里,我想请教一下高手,怎么解析出表单提交的地址,有没有什么工具来追踪一下浏览器提交表单这个过程,从而解析出表单提交的地址,如果有,那是什么工具,最好讲解一下这个工具怎么用。如果没有这种工具,该怎么解析!
期待高手!!!!
解析登陆时,我找到了人人网的登陆界面,查看源码,发现带有账号和密码的那个表单提交的地址是http://www.renren.com/PLogin.do,然后我是用Httpclient4.1.3的jar包进行编程,实现了登陆,比较麻烦的是这个地址中间还跳转了一次,所以需要用到Httpclient重定向,不过最后还是登陆成功了。
现在的问题是:我用同样的方法找了一下发状态那个表单提交的地址是http://shell.renren.com/305219253/status,但是我照原来那样做却不能发帖,在网上我找了一下,有高手实现了Httpclient解析人人网发状态,我看了一下源码,结果人家这里的表单提交的地址并不是这个。
所以在这里,我想请教一下高手,怎么解析出表单提交的地址,有没有什么工具来追踪一下浏览器提交表单这个过程,从而解析出表单提交的地址,如果有,那是什么工具,最好讲解一下这个工具怎么用。如果没有这种工具,该怎么解析!
期待高手!!!!
...全文
相关推荐
C#网络爬虫程序源码
网络爬虫,又称网页蜘蛛或网络机器人,是互联网上的一种自动化程序,能够按照一定的规则遍历网站,收集网页内容,通常用于数据分析、搜索引擎索引等用途。
自己动手写网络爬虫 配书光盘
该项目实现了一个基础的Java网络爬虫,包含网页下载、链接解析、URL去重与队列管理等功能。通过HttpClient获取网页内容,利用HtmlParser提取链接,并结合自定义过滤器筛选目标URL,支
java网络爬虫抓取网页数据
使用HttpClient,我们可以编写代码来指定URL,然后获取该URL对应的网页内容。
C#简单实现网络爬虫
**处理网络异常**:在网络爬虫中,可能会遇到各种网络问题,如超时、连接错误等。因此,我们需要编写异常处理代码以确保程序的稳定性。
httpclient 网络爬虫必备包
两者结合使用,可以帮助开发者构建出功能强大且高效的网络爬虫系统,满足从简单网页信息抓取到复杂数据挖掘的各种需求。


Web 开发
