如何抓取网页中js加载后的内容？-CSDN论坛

如何抓取网页中js加载后的内容？

.NET技术 > C#

收藏回复

[问题点数：40分，结帖人redkk_com]

⋅c#怎么样自动编码读取文件 ⋅如何抓取网页中js加载后的内容？ ⋅NuSphere PhpED调试工具settings wizard问题 更多帖子 关注私信空间博客 红KING 等级 本版专家分：0 结帖率 100%

如网页的代码是这样：



<div id="a"></div>

<script type="text/javascript">

document.getElementById('a').outerHTML='<span>a</span>';

</script>

如何抓取id为a标签中的内容。

试过这样不行。。



IHTMLDocument2 vDocument = (IHTMLDocument2)webBrowser1.Document.DomDocument;

vDocument.parentWindow.execScript("alert(document.getElementById('a').innerHTML);", "javaScript");

请大神赐教。。

2014-01-26 16:14:28

点赞只看楼主引用举报楼主收起

展开阅读全文

⋅5000的并发可以多少人同时在线访问 ⋅这是什么情况,哪个是非法词 ⋅话说firefox加载大量flash会崩溃的问题 更多帖子 关注私信空间博客 md5e 等级 本版专家分：71952 勋章 红花 2013年5月 .NET技术大版内专家分月排行榜第一 黄花 2014年6月 .NET技术大版内专家分月排行榜第二 2014年1月 .NET技术大版内专家分月排行榜第二 蓝花 2014年2月 .NET技术大版内专家分月排行榜第三 2013年4月 .NET技术大版内专家分月排行榜第三: 首先你的document.getElementById('a').outerHTML='<span>a</span>';,a就已经不存在了，你再用document.getElementById('a').innerHTML去获取就没有意义了

2014-01-26 16:39:10

点赞只看TA 引用举报 #1得分 0

⋅c#怎么样自动编码读取文件 ⋅如何抓取网页中js加载后的内容？ ⋅NuSphere PhpED调试工具settings wizard问题 更多帖子 关注私信空间博客 红KING 等级 本版专家分：0: 引用 1 楼 liuchaolin 的回复:
首先你的document.getElementById('a').outerHTML='<span>a</span>';,a就已经不存在了，你再用document.getElementById('a').innerHTML去获取就没有意义了

我只是举个例，请问有什么方法可以抓取到标签id为a中的内容啊？

2014-01-26 16:54:55

点赞只看TA 引用举报 #2得分 0

⋅5000的并发可以多少人同时在线访问 ⋅这是什么情况,哪个是非法词 ⋅话说firefox加载大量flash会崩溃的问题 更多帖子 关注私信空间博客 md5e 等级 本版专家分：71952 勋章 红花 2013年5月 .NET技术大版内专家分月排行榜第一 黄花 2014年6月 .NET技术大版内专家分月排行榜第二 2014年1月 .NET技术大版内专家分月排行榜第二 蓝花 2014年2月 .NET技术大版内专家分月排行榜第三 2013年4月 .NET技术大版内专家分月排行榜第三: window.onload = function () { alert(document.body.innerHTML); }

用这个试试

2014-01-26 16:57:56

点赞只看TA 引用举报 #3得分 20

⋅5000的并发可以多少人同时在线访问 ⋅这是什么情况,哪个是非法词 ⋅话说firefox加载大量flash会崩溃的问题 更多帖子 关注私信空间博客 md5e 等级 本版专家分：71952 勋章 红花 2013年5月 .NET技术大版内专家分月排行榜第一 黄花 2014年6月 .NET技术大版内专家分月排行榜第二 2014年1月 .NET技术大版内专家分月排行榜第二 蓝花 2014年2月 .NET技术大版内专家分月排行榜第三 2013年4月 .NET技术大版内专家分月排行榜第三: 要等页面加载完成再获取

2014-01-26 16:58:29

点赞只看TA 引用举报 #4得分 0

⋅c#怎么样自动编码读取文件 ⋅如何抓取网页中js加载后的内容？ ⋅NuSphere PhpED调试工具settings wizard问题 更多帖子 关注私信空间博客 红KING 等级 本版专家分：0: 引用 3 楼 liuchaolin 的回复:
window.onload = function () { alert(document.body.innerHTML); }

用这个试试

这个是可以的，谢谢了。。。

不过这个是把body里面的所有内容都输出了，可以再请教下这个可以把document.body.innerHTML的内容存到c#的一个变量里处理吗？

2014-01-26 17:46:04

点赞只看TA 引用举报 #5得分 0

⋅5000的并发可以多少人同时在线访问 ⋅这是什么情况,哪个是非法词 ⋅话说firefox加载大量flash会崩溃的问题 更多帖子 关注私信空间博客 md5e 等级 本版专家分：71952 勋章 红花 2013年5月 .NET技术大版内专家分月排行榜第一 黄花 2014年6月 .NET技术大版内专家分月排行榜第二 2014年1月 .NET技术大版内专家分月排行榜第二 蓝花 2014年2月 .NET技术大版内专家分月排行榜第三 2013年4月 .NET技术大版内专家分月排行榜第三: 可以用js创建一个隐含域,然后加载完成,打上标志

通过ProgressChanged实时监控隐含域的值
private void webBrowser1_ProgressChanged(object sender, WebBrowserProgressChangedEventArgs e){
HtmlElement hf= webBrowser1.Document.GetElementById("hf");
if (hf!= null && hf.GetAttribute("value")=="1"){
string _html=webBrowser1.Document.Body.InnerHtml;
}
}

2014-01-26 18:01:34

点赞只看TA 引用举报 #6得分 20

⋅c#怎么样自动编码读取文件 ⋅如何抓取网页中js加载后的内容？ ⋅NuSphere PhpED调试工具settings wizard问题 更多帖子 关注私信空间博客 红KING 等级 本版专家分：0: 引用 6 楼 liuchaolin 的回复:
可以用js创建一个隐含域,然后加载完成,打上标志

通过ProgressChanged实时监控隐含域的值
private void webBrowser1_ProgressChanged(object sender, WebBrowserProgressChangedEventArgs e){
HtmlElement hf= webBrowser1.Document.GetElementById("hf");
if (hf!= null && hf.GetAttribute("value")=="1"){
string _html=webBrowser1.Document.Body.InnerHtml;
}
}

呵呵，问题解决了，谢谢了。。

2014-01-27 10:02:03

点赞只看TA 引用举报 #7得分 0

收起

收藏回复

红KING

等级：

关注私信 TA的帖子

Java抓取动态加载js后的网页-PhantomJS: 最近有一个抓取网页内容的需求，但是加载的网页的有的元素是通过js动态加载完成的，使用简单的HttpURLConnection无法运行js文件。此篇介绍一个PhantomJS的API，PhantomJS是一个基于webkit的JavaScript API。它...

php 抓取动态网页_php抓取js动态加载的内容，请教下: 请假下大家，如何用php抓取页面上 js动态加载来的内容，file_get_contents 只能获取用查看源码看到的源码，，其实页面上还有别的内容，请大家给些建议..回复内容：请假下大家，如何用php抓取页面上 js动态加载来...

c#获取网页js解析后的内容？: 用_HttpWebRequest_里的GetResponse得到的是页面的源代码，但是有些网页的源代码没有数据，是js代码，要解析后才有数据。我用过WebBowser但是很多js的内容都解析不出来，提示缺少支持库，后面用CefSharp可以解析...

网页爬虫，网页抓取，js加载后网页抓取，超简单。: 超级简单网页抓取源码，js加载完成抓取源码，抓取动态加载页面的源码。适合初学者，很简单。看懂很容易。页面加载完成抓取源码适合新手，赚点资源分但是内容绝对有效简单明了。

python抓取js内容_Python爬取javascript(js)动态网页: python有许多库可以让...一些动态的东西如javascript脚本执行后所产生的信息，是抓取不到的，这里暂且先给出这么一些方案，可用于python爬取js执行后输出的信息。1. 两种基本的解决方案1.1 用dryscrape库动态抓取...

关于抓取js加载出来的内容抓取: 一.抓取页面 ...首先通过分析页面会发现该页面中的新闻数据都是动态加载出来的，并且通过抓包工具抓取数据可以发现动态数据也不是ajax请求获取的动态数据（因为没有捕获到ajax请求的数据包），那么...

C#利用WebBrower抓取网页中Ajax加载的内容: 现在的网页有相当一部分是采用了AJAX技术,不管是采用C#中的WebClient还是HttpRequest都得不到正确的结果,因为这些脚本是在服务器发送完毕后才执行的! 但我们用IE浏览页面时是正常的,所以解决方法只有1个就是采用...

python爬虫爬取异步加载网页信息（python抓取网页中无法通过网页标签属性抓取的内容）: 1.问题描述 ...一般情况下，要抓去网页上某个标签上的内容，在通过urllib下载网页内容后通过BeautifulSoup对象解析网页内容，然后就可以通过fina_all()方法找到我们想要的标签内容。举个例子，我想...

python+selenium+PhantomJS抓取网页动态加载内容: 一般我们使用python的第三方库requests及框架scrapy来爬取网上的资源，但是设计javascript渲染的页面却不能抓取，此时，我们使用web自动化测试化工具Selenium+无界面浏览器PhantomJS来抓取javascript渲染的页面，...

java爬取js动态网页_java爬取js动态加载的内容: 在写爬虫的时候需要下载一个页面上的附件，比如http://www.jsqts.gov.cn/zjxx/... 这个网站上面的附件，但是直接用jsoup抓取页面的话html里什么都没有，百度了之后知道好多内容是js动态加载的，于是使用了httpunit，...

C# 写个小爬虫，实现爬取js加载后的网页: 一开始用 WebClient 类什么的去爬，发现爬的是未加载js的html，没有表格数据我想这就应该要获取加载js渲染后的网页源码，看了下请求，有个html，两个json其中一个json就是目标数据，可惜我比较菜，请求url没有拼...

提取网页中动态加载的内容: 网页源代码与用chrome审查内容不同，查看网页源代码，发现浏览器对源代码动态渲染加载过得到我们所见的网页。与很多爬虫教学视频不同，这个网址有以下几个问题： 1、查找后左边这个文件的response中有我需要的网址...

使用python抓取js动态加载的网页: 但是有时候我们遇见那种使用js动态加载的网页。就会发现urllib只能抓出一个部分内容空白的网页。解决办法是使用selenium+phantomjs进行抓取。。。审查元素之后，。发现百度图片中，显示图片的div为：pull...

python如何爬取js渲染的内容_python+selenium+PhantomJS爬取网页动态加载内容: 一般我们使用python的第三方库requests及框架scrapy来爬取网上的资源，但是设计javascript渲染的页面却不能抓取，此时，我们使用web自动化测试化工具Selenium+无界面浏览器PhantomJS来抓取javascript渲染的页面，...

Python实现爬取网页中动态加载的数据: 主要介绍了Python实现爬取网页中动态加载的数据，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

使用python抓取js动态加载的网页-python+selenium+PhantomJS抓取网页动态加载内容: 环境搭建准备工具：pyton3.5,selenium,phantomjs我的电脑里面已经装好了python3.5安装Seleniumpip3 install selenium安装Phantomjs按照系统环境下载phantomjs,下载完成之后，将phantomjs.exe解压到python的script...

Python3实现抓取javascript动态生成的html网页功能示例: 主要介绍了Python3实现抓取javascript动态生成的html网页功能,结合实例形式分析了Python3使用selenium库针对javascript动态生成的HTML网页元素进行抓取的相关操作技巧,需要的朋友可以参考下

js爬取数据加载页面_浅谈网络爬虫爬js动态加载网页（一）: 由于别的项目组在做舆情的预言项目，我手头正好没有什么项目，突然...前者用来管理请求，后者用来解析页面，主要是后者的select语法很像jquery，对于用js的我来说方便太多了。昨天和他们聊天的时候，他们选用了几...

Phantomjs抓取渲染JS后的网页（Python代码）: phantomjs：我的理解就是它是一个无显示的浏览器，也就是说除了不能显示页面内容以外，浏览器能干的活儿它基本上都能干。下面我们就来利用他做点有趣的事情

htmlunit抓取js执行后的网页源码: 运行了几次发现使用URLConnection 得到的网页源码和浏览器直接查看的不同。 URLConnection 使用IO流读取到的源码只有积分没有访问量了而使用浏览器访问直接查看源码有访问。这也就导致了我的程序不能用...

selenim 抓取iframe 中的内容，但是iframe内容跳转后怎么抓取新的？: 1.第一次进入界面，抓取iframe中的内容； temp_iframe = browser.find_element_by_xpath('//*[@id="rrapp"]/div[1]/section[2]/iframe') browser.switch_to.frame(temp_iframe)``` ``` 2.iframe中有点击...

python爬取动态js加载的内容: 这几天开始写毕业设计，打算做一个交通大数据处理方面的系统。因此选取了一个国外的交通数据开放网站（国内不开放

java爬取js生成的网页_java爬取js动态加载的内容: 在写爬虫的时候需要下载一个页面上的附件，比如http://www.jsqts.gov.cn/zjxx/... 这个网站上面的附件，但是直接用jsoup抓取页面的话html里什么都没有，百度了之后知道好多内容是js动态加载的，于是使用了httpunit，...

cefsharp 网页加载完毕_Python爬虫Selenium和chromedriver,动态网页数据抓取: 这意味着可以在不重新加载整个网页的情况下，对网页的某部分进行更新。传统的网页(不使用Ajax)如果需要更新内容，必须重载整个网页页面。因为传统的在传输数据格式方面，使用的是XML语法。因此叫做AJAX，其实...

如何抓取执行js之后的网页内容: 问题：用httpclient和Jsoup似乎没办法获取到执行了js之后的网页内容？两种思路：

python selenium 爬取js加载的内容为空_Selenium + BeautifulSoup爬虫入门，对于JS加载的网页数据无法读取...: 问题来源爬虫写完并不是一劳永逸的，因为原站的代码迭代，我们上次文章写的代码就变成了a pile of shit????。生活不如意，十有八九，这并不是阻碍我们学习的绊脚石。...通常我们在对网页进行抓包的时...

java 动态网页抓取_Java_爬虫，如何抓取Js动态生成数据的页面？: 该楼层疑似违规已被系统折叠隐藏此楼查看此楼很多网站是用js或Jquery 生成数据...HttpClient是不行的，看网上说HtmlUnit，可以获取后台js加载完后的完整页面，但是我按照文章上说的写了，都不好使。String url =...

以太坊ETH挖矿图文教程2.0: 本教程页数不多，7页，主要描述如何使用以太坊ETH挖矿，图文并茂的展示和流程细节的体现，基本看了一遍就肯定能够学会了。

python大作业--爬虫（完美应付大作业）.zip: python大作业分享--30多个项目任你选（由于上传大小限制分多个文件上传。爬虫：https://download.csdn.net/download/weixin_43960044/12533382小游戏：https://download.csdn.net/download/weixin_43960044/12533379），应付大作业完全没问题。内涵30多个项目，随意挑选。爬虫（爬抖音视频、下载B站视频、怕天气预报等）小游戏（五子棋、坦克大战、贪吃蛇、拼图等）。

2020五一建模A题解题思路.zip: 2020年五一数学建模A题解题思路最容易建模的是秦皇岛港动力煤价格的主要因素的影响，分别统计2019年5月1日至2020年4月30日一年内影响煤炭价格数据变化，（主要因素包括气候变化、出行方式、能源消耗方式、国际煤炭市场）。建立预测模型（时间序列预测模型， Elman神经网络预测模型等），预测煤炭价格变化。

相关热词 c#编程培训 c# 打开一个文件流 c#实现队列的操作 c# 遍历文件夹下的文件 c#控制键盘 c#opc编程 c# cs文件 c# 加锁编程c# c# 计算字节单位