抓取网页动态内容

[SHIMMER8711]

需要从这个网址：http://www.hshfy.sh.cn/shfy/gweb/ktgg_search.jsp 抓取数据。
抓取的是当天所有的开庭公告信息，并把这些数据存储到数据库中。
我看了一下这个网页的源码，它有分页，分页参数是hidden变量，还有一个日期参数。
但这些参数都是直接提交，然后处理的。

求解决方案。。。
怎么获得当天的所有法院开庭公告信息，谢谢

[wanghao2979]

WebRequest 可以处理 coockie吗?? 表示关注

[wuyq11]

分页抓取数据
http://topic.csdn.net/u/20100429/15/bb3de72e-50bf-4301-b6cb-57d927bd96cd.html

[bdmh]

自己解析吧，解析html代码，建议用正则取

[QQ7300]

用WebRequest对其网址发送请求，你会收到一个返回的WebResponse,里面包含了整个网页内容。你再从中把内容截取出来，轻松解决。你可以查一下WebRequest的相关资料。

[xiaohuaduo]

搜索一下Winista.HtmlParser.dll
这个用来分析html源码的，可以方便你获取数数据
再加上HttpWebRequest和HttpWebResponse就差不多了

[SHIMMER8711]

恩，这个网页我是获得的，但是这个网页时分页的。。。
客户的要求是每天自动获得当天的法院公告所有信息，可是这个网页的公告内容是动态的，而且还分页，它的默认数据是一个月的所有数据。。
你们明白我的意思吗？

我现在用HttpWebRequest是可以获得当前网页的数据，可是它只有一页啊

[wanghao2979]

Winista.HtmlParser.dll 这个学习了。。。

[dexter1986]

[Quote=引用 2 楼 qq7300 的回复:]

用WebRequest对其网址发送请求，你会收到一个返回的WebResponse,里面包含了整个网页内容。你再从中把内容截取出来，轻松解决。你可以查一下WebRequest的相关资料。
[/Quote]
正解

[SHIMMER8711]

你们没明白我的意思，获取整个网页内容是可以的，但是这个网页内容是不全的，它存在分页，存在条件选择。
比如说我发的那个网址，它只能获得当前日期内第一页的数据，那第二页，，第三页，，，第N页的数据呢？怎么获得？

这个才是关键

[dexter1986]

那只能一页一页读取 再合并了，

[Fuller]

这个网页的翻页部分用了一小段Javascript代码，如果要编写抓取器，一种比较直接的方法是将Javascript引擎嵌入进去，这样，抓取器对AJAX网页是透明的，不用关心是否是AJAX。例如，免费软件MetaSeeker就是这样做的，调用XPCOM组件，实现了一个完整的浏览器。可以到gooseeker网站上下一个，大部分代码可以阅读。

同样使用COM也可以做一个仿IE的抓取器，但是微软技术很多不开源，控制起来不一定那么灵活。

如果只需要使用这些数据，可以用MetaSeeker抓取这个网站即可，抓取规则已经定义好了，名字是demo_court_shanghai

[SHIMMER8711]

问题已解决，我用的是HttpWebRequest。
谢谢大家，，结贴

[aqzts]

楼主是怎么解决的，请指导~

[f852013]

怎么解决的呀?????????????????