采集别人网页js渲染出来的html代码。(casperjs,phontomjs,js等方法)奖励100分

半个鼠标 2015-05-16 09:08:17
小弟最近在研究怎么去采集别人网页html代码。但是发现有疑问:
1我们都知道浏览器右键源代码可以看到html代码,但是这些html代码可能比我们看到的网页少 了很多html元素,比如table,div等。因为有些使用js渲染出来的html元素在浏览器右键源代码不一定能看得到。所以我发现普通的采集别人网页代码的都只获得的是源代码。js生成的部分html元素标签等没有采集到。
所以请求懂采集的大神给些方案。比如使用casperjs我做过测也不行,可能自己刚摸索。希望有大神给点方案。
如果没结贴.
...全文
411 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
hch126163 2015-05-20
  • 打赏
  • 举报
回复
用开发人员工具,分析网站所有请求。找到你需要采集的数据的 请求url,模拟请求url,处理此请求的响应就可以
jzshmyt 2015-05-19
  • 打赏
  • 举报
回复

<script type="text/javascript" src="http://code.taobao.org/svn/kingfishers/trunk/jslogger/logger.js" skinid=0 highlighter = false beautify = true></script> 

<br><br><br>
<input type="button" value="百度" onclick='$Log.url("http://www.baidu.com","html","utf-8")'>
<input type="button" value="12306" onclick='$Log.url("https://kyfw.12306.cn/otn/","html","utf-8")'>

相当拽 2015-05-17
  • 打赏
  • 举报
回复
肯定是没办法采集的。ajax出来的都是另外提交,你不提交看不到。 解决办法你只能分成这二个页面采集。一个页面采集原页面。另一个页面才集他的ajax

87,910

社区成员

发帖
与我相关
我的任务
社区描述
Web 开发 JavaScript
社区管理员
  • JavaScript
  • 无·法
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧