如何抓取ajax数据 急~~~
//要抓取的URL地址
string UrlBank = "http://www.bankrate.com.cn/bankoutlets/1";
string strResultBank = GetWebContent(UrlBank);
//取出和数据有关的那段源码
int iBodyStartBank = strResultBank.IndexOf("<body", 0);
int iStartBank = strResultBank.IndexOf("中国建设银行省份网点", iBodyStartBank);
int iTableStartBank = strResultBank.IndexOf("<div", iStartBank);
int iTableEndBank = strResultBank.IndexOf("</div>", iTableStartBank);
string strWebBank = strResultBank.Substring(iTableStartBank, iTableEndBank - iTableStartBank + 8);
//生成HtmlDocument
WebBrowser webbBank = new WebBrowser();
webbBank.Navigate("about:blank");
HtmlDocument htmldocBank = webbBank.Document.OpenNew(true);
htmldocBank.Write(strWebBank);
HtmlElementCollection htmlTRBank = htmldocBank.GetElementsByTagName("a");
foreach (HtmlElement tr in htmlTRBank)
{
strCity = tr.OuterText;
strCity = strCity.Substring(0, strCity.Length - 1);
}
我做了一个实例,以上这段代码可以抓取到html 所有源码,并可以获取我想要的数据
现在问题是我要抓取这里面的数据 http://www.bankrate.com.cn/creditcard/10_2
可是查看源码后如“主卡年费”显示的是0(<td class="td_data_left td_bg">主卡年费</td>
<td class="content ajaxdata">0</td>)这里正确的应该是“免费”,这样我就纳闷了,
我如果才能得到真正的数据呢,谢谢各位支招
string UrlBank = "http://www.bankrate.com.cn/bankoutlets/1";
string strResultBank = GetWebContent(UrlBank);
//取出和数据有关的那段源码
int iBodyStartBank = strResultBank.IndexOf("<body", 0);
int iStartBank = strResultBank.IndexOf("中国建设银行省份网点", iBodyStartBank);
int iTableStartBank = strResultBank.IndexOf("<div", iStartBank);
int iTableEndBank = strResultBank.IndexOf("</div>", iTableStartBank);
string strWebBank = strResultBank.Substring(iTableStartBank, iTableEndBank - iTableStartBank + 8);
//生成HtmlDocument
WebBrowser webbBank = new WebBrowser();
webbBank.Navigate("about:blank");
HtmlDocument htmldocBank = webbBank.Document.OpenNew(true);
htmldocBank.Write(strWebBank);
HtmlElementCollection htmlTRBank = htmldocBank.GetElementsByTagName("a");
foreach (HtmlElement tr in htmlTRBank)
{
strCity = tr.OuterText;
strCity = strCity.Substring(0, strCity.Length - 1);
}
我做了一个实例,以上这段代码可以抓取到html 所有源码,并可以获取我想要的数据
现在问题是我要抓取这里面的数据 http://www.bankrate.com.cn/creditcard/10_2
可是查看源码后如“主卡年费”显示的是0(<td class="td_data_left td_bg">主卡年费</td>
<td class="content ajaxdata">0</td>)这里正确的应该是“免费”,这样我就纳闷了,
我如果才能得到真正的数据呢,谢谢各位支招
...全文
相关推荐
Java抓取网页数据Demo
接下来,我们转向**抓取网页JS返回数据**。许多现代网页使用Ajax技术动态加载数据,这些数据通常不会出现在原始HTML中,而是通过JavaScript执行后生成。
网页数据抓取工具,ajax异步数据获取,模拟访问网页提取内容
在数据抓取时,如果目标网站大量使用AJAX,我们就需要模拟浏览器的行为,通过发送适当的HTTP请求来获取这些异步加载的数据。模拟访问网页提取内容是数据抓取的关键步骤。
Ajax网页源码抓取程序
**总结**Ajax网页源码抓取程序利用C#的`WebBrowser`控件解决了抓取动态内容的问题,为数据采集提供了新的可能性。无论是对单个网页还是批量网址,都能有效抓取到Ajax加载的所有内容。
Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容
在这篇文章中,主要介绍的是一种特定的网络爬虫技术,即使用Python语言结合Selenium和PhantomJS这两种工具,以实现对网页中通过Ajax技术动态加载的内容和动态HTML内容的抓取。
PHP curl 抓取AJAX异步内容示例
首先,要理解AJAX异步内容抓取与普通页面抓取在技术上并无本质区别。


