请问如何抓取用JS分页的网页内容

[luisszhou]

我要抓取一个网站的内容，这个网站分页机制是用js的。具体如下：

[size=10px]

<a href="javascript:gogage(pageno+1)" class="navigation">下一页</a>

	var pageno=1;
	function gogage(pno){
	  tbl.firstPage();
	  pageno=1;
	  for(var i=1; (i < pno||pno==-1)&&i<xmldso.recordset.PageCount; i++,pageno++)
	    tbl.nextPage();
	  document.all.currentpage.innerText=pageno;
	}

<table width="98%" border="0" cellspacing="1" cellpadding="1" id="tbl" datasrc="#xmldso" datapagesize="11">

请高手赐教！

[luisszhou]

自顶，请知道的兄弟指点下

[dzxccsu]

帮忙顶！

[dahaidao]

把html页取下来，数据在"#xmldso"指定的位置，也取下来，就是全部内容了。和分页关系不大.

[llj480028]

帮顶！

[CYBEREXP2008]

利用htmlparser抓取网页内容(一)
import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.TagNameFilter;
import org.htmlparser.tags.TableTag;
import org.htmlparser.util.NodeList;

/**
* <br>
* 标题: <br>
* 功能概要: <br>
* 版权: cityyouth.cn (c) 2005 <br>
* 公司:上海城市青年网 <br>
* 创建时间:2005-12-21 <br>
* 修改时间: <br>
* 修改原因：
*
* @author 张伟
* @version 1.0
*/
public class TestYahoo {
public static void testHtml() {
try {
String sCurrentLine;
String sTotalString;
sCurrentLine = "";
sTotalString = "";
java.io.InputStream l_urlStream;
java.net.URL l_url = new java.net.URL(
"http://sports.sina.com.cn/iframe/nba/live/");
java.net.HttpURLConnection l_connection = (java.net.HttpURLConnection) l_url
.openConnection();
l_connection.connect();
l_urlStream = l_connection.getInputStream();
java.io.BufferedReader l_reader = new java.io.BufferedReader(
new java.io.InputStreamReader(l_urlStream));
while ((sCurrentLine = l_reader.readLine()) != null) {
sTotalString += sCurrentLine;
}
System.out.println(sTotalString);

System.out.println("====================");
String testText = extractText(sTotalString);
System.out.println(testText);
} catch (Exception e) {
e.printStackTrace();
}

}

/**
* 抽取纯文本信息
*
* @param inputHtml
* @return
*/
public static String extractText(String inputHtml) throws Exception {
StringBuffer text = new StringBuffer();

Parser parser = Parser.createParser(new String(inputHtml.getBytes(),
"8859_1"), "8859-1");
// 遍历所有的节点
NodeList nodes = parser.extractAllNodesThatMatch(new NodeFilter() {
public boolean accept(Node node) {
return true;
}
});
Node node = nodes.elementAt(0);
text.append(new String(node.toPlainTextString().getBytes("8859_1")));
return text.toString();
}

/**
* 读取文件的方式来分析内容. filePath也可以是一个Url.
*
* @param resource
* 文件/Url
*/
public static void test5(String resource) throws Exception {
Parser myParser = new Parser(resource);

// 设置编码
myParser.setEncoding("GBK");
String filterStr = "table";
NodeFilter filter = new TagNameFilter(filterStr);
NodeList nodeList = myParser.extractAllNodesThatMatch(filter);
TableTag tabletag = (TableTag) nodeList.elementAt(11);

System.out.println(tabletag.toHtml());

System.out.println("==============");

}

/*
* public static void main(String[] args) { TestYahoo testYahoo = new
* TestYahoo(); testYahoo.testHtml(); }
*/
public static void main(String[] args) throws Exception {
test5("http://sports.yahoo.com/nba/scoreboard");
}
}

[CYBEREXP2008]

ConnectionManager cm = new ConnectionManager();
cm.setProxyHost("XXX.XXX.XXX.XXX");
cm.setProxyPort(8080);

[猫已经找不回了]

学习了

[iroyal]

如果数据是一次下载下来，JS只是分页的话，那还可以获取

如果是用AJAX，点一次下载一次数据，那就不好办了。
提供2个思路：
1.分析它的JS，自己发送信息到服务器，从返回数据里取
2.创建一个类似.NET里webbrowser的对象，用它打开那个网页，模拟点击下一页，然后再获取信息

[luisszhou]

感谢上面各位的指点，和帮顶。

我看了一下这页面，发现这个页面的数据基本是这样构成的，但还是没有什么头绪。。。小弟不懂.net的。

<table width="98%" border="0" cellspacing="1" cellpadding="1" id="tbl" datasrc="#xmldso" datapagesize="11">

<xml id="xmldso" src="/XMLQuery?aid=123" onDataSetChanged="init()"></xml>

[Abin-2008]

长见识了。。

[luisszhou]

貌似不是ajax操作吧。

[luisszhou]

另外，打开网页速度慢，但是点击“下一页”翻页速度很快，每页20条记录，可以看出如楼上 iroyal 所言，“数据是一次性获取的，JS只是分页”。

还请大家赐教，该怎么得到这个“一次性获取”的数据呢。

[windsna]

顶起，但是我想要的是，只用javascript语句或者是jquery，获取其他页面的内容。有知道的，说声。谢谢