如何获取js生成内容的完整的html代码

2017-12-19 03:49:49 457 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

weixin_41063915 墨衍会员 · AI 创作全网分发关注 + 加入社区

python抓取javascript动态生成HTML内容的实践本实验在Ubuntu14.04上完成。使用的浏览器是火狐(Firefox 33.0)，python版本是2.7.6。大家都知道用urllib配合正则表达式抓取静态HTML的内容很方便，但是如果网页中有javascript动态生成的内容，urllib就无能为力了。此时我们要借助一个额外的工具：selenium。它的工作原理是操纵（火狐）浏览器浏览目标网页，等待网页中的javascript全部阅读详情

https://www.lightinthebox.com/c/women-s-dresses_4711/9.html?prm=1.2.58.0#nohash

这个网站，每个网页大概有60个产品，但是只有前8个产品是用html输出的，右键网页看源码也就自能看到8个产品的html源码
其他52个产品都是js生成的，也就是每个页面有60个产品链接

我是打算用火车头采集这个网站产品的，但是目前只能采集到8个
js生成的部分无法获取，
要怎么才能获取到Js生成部分的完整的html代码或者直接取得产品链接呢？

...全文