81,094
社区成员
发帖
与我相关
我的任务
分享。。关于抓取网页信息的问题，
如何用java实现登陆一个网站，比方说一个论坛，要求输入用户名和密码，还有个复选框，选择是普通用户还是会员或者管理员，
如何把这三个信息通过表单post给网页，然后实现登陆，
登陆之后是不是httpclient自动管理cookies，
我就可以访问该用户登陆状态下的各个子页面，并把信息抓取下来，
请教如何将用户名密码和复选框或者是下拉框的内容post给网页，
求指导～，
如何把这三个信息通过表单post给网页，然后实现登陆，
登陆之后是不是httpclient自动管理cookies，
我就可以访问该用户登陆状态下的各个子页面，并把信息抓取下来，
请教如何将用户名密码和复选框或者是下拉框的内容post给网页，
求指导～，
...全文
请发表友善的回复…
发表回复
linwz520 2013-01-30
- 打赏
- 举报
先用httpclient做post登陆，然后方法返回下一个页面的数据，就是你登陆后的页面html代码，用正则去匹配你要的数据就可以了
小律律 2013-01-30
- 打赏
- 举报
不是保存在Session里就可以了吗
失落夏天 2013-01-26
- 打赏
- 举报
那是post给服务端吧？
一个form表单，然后submit提交？
感觉好像不止这么简单，但是复杂了想不出你问的啥。
paullbm 2013-01-26
- 打赏
- 举报
想实现这功能的前提是，首先你要人工走访一遍操作流程：用数据抓包工具httpwatch或用火狐自带的firebug进行关键的请求(比如登录操作)url获取。在了解了人家的接口和参数之后，你才方便自己去模拟，以达到欺骗服务器的作用。因为HTTP协议是无状态的，发送了一个请求，必然会有一个响应。当然，至于服务器端的响应也看它是否有所防范。如果你想了解这个过程，当前最火的应该是刷票软件的脚本了。可以去研究研究。
Mrdanding 2013-01-26
- 打赏
- 举报
。。就是如何实现程序自动登陆一个网页，然后把登陆后的各个子页面的数据抓取下来，
