如何获取js生成的Html内容

pol000 2020-05-06 05:18:33

如何获取js生成的Html内容
地址：https://gzgsv.xpshop.cn/products/product-1002727.html

...全文

242 1 打赏收藏举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

使我做你和平之子 2020-05-07

打赏
举报

回复

js的话就不能用webclient了，可以考虑用webbrowser控件或者用selenium来加载网页，然后解析html

Jsoup本身是只能获取到静态页面的数据，并无法获取动态生成的内容，所以单单使用jsoup是无法获取到js生成的内容的。我这里使用了htmlunit来获取网页内容后，将网页转换成xml格式，再通过jsoup进行解析1.依赖导入一般Jsoup和HttpClient都是一起使用的，版本随意，可以无脑选择新版本org.apache.httpcomponentshttpclient4.5.2org.jso...

然后，我们创建了一个CasperJS脚本，用于加载和渲染目标网页，并获取渲染后的HTML内容。Python本身对于静态HTML页面的解析相对容易，但对于需要JavaScript动态渲染的页面，我们需要借助一些工具来模拟浏览器环境，以获取完整的渲染后的HTML内容。首先，我们需要安装CasperJS和PhantomJS。在本步骤中，我们将创建一个CasperJS脚本，用于加载和渲染网页，并获取渲染后的HTML内容。在本步骤中，我们将使用Python来调用CasperJS脚本，并获取渲染后的HTML内容。

为什么80%的码农都做不了架构师？>>> ...

文章摘要：其实这里casperjs与python没有直接关系,主要依赖casperjs调用phantomjs webkit获取html文件内容。长期以来，爬虫抓取客户端javascript渲染生成的html页面都极为困难, Java里面有HtmlUnit, 而Python里，我们可以使用独立的跨平台的CasperJS。创建site.js(接口文件，输入:url，输出:html file)//...

文章摘要：其实这里casperjs与python没有直接关系,主要依赖casperjs调用phantomjs webkit获取html文件内容。长期以来，抓取客户端javascript渲染生成的html页面都极为困难, Java里面有 HtmlUnit, 而Python里，我们可以使用独立的跨平台的。创建site.js(接口文件，输入:url，输出:html file)//USAGE: E:...

111,128

社区成员

642,535

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

让您成为最强悍的C#开发者

试试用AI创作助手写篇文章吧

+ 用AI写文章