请教各位抓取网页数据的问题(使用HtmlAgilityPack、WebBrowser)

clxering clxering 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区
获取某页面的部分数据,使用HtmlAgilityPack解析第一页时结果正常。
问题:1、运行后DocumentCompleted事件好像只触发了一次,最终停止在第二页
2、不能获取到新页面的DocumentText,只能反复获取第一页的数据。
请教一下解决方法,感谢!
测试网页地址:http://stock.finance.sina.com.cn/fundInfo/view/FundInfo_LSJZ.php?symbol=100056
测试代码如下:

private void webBrowser1_DocumentCompleted(object sender, WebBrowserDocumentCompletedEventArgs e)
{
WebBrowser targetWeb = sender as WebBrowser;
if (targetWeb.ReadyState == WebBrowserReadyState.Complete)
{
HtmlAgilityPack.HtmlDocument hapHtmlDoc = new HtmlAgilityPack.HtmlDocument();
hapHtmlDoc.LoadHtml(targetWeb.DocumentText);
HtmlNodeCollection targetNodeList = hapHtmlDoc.DocumentNode.SelectNodes("//td[@class='f005'][1]");//获取日期

foreach (HtmlNode test in targetNodeList)
System.Diagnostics.Debug.WriteLine(test.InnerHtml);//测试内容

System.Windows.Forms.HtmlDocument winHtmlDoc = targetWeb.Document;
foreach (HtmlElement item in winHtmlDoc.GetElementsByTagName("a"))
{
if (item.OuterText == "下一页")
{
item.InvokeMember("click");
break;
}
}
}
}
...全文

相关推荐

评论 4
收藏 已收藏
分享
返回顶部
clxering
C# 111,129 成员 642,539 内容