如何用python抓取带ajax网站的内容

SuperLoserPeco 2017-06-05 04:24:12
比如说 我要抓取一枚股票的信息
得到了如下链接
http://stockpage.10jqka.com.cn/realHead_v2.html#hs_300217
然后我发现
这个页面内有

function fetchPendinfo() {
if(this.parent == this){

}else{
var stockcode = window.location.href.split('hs_')[1];
$.ajax({
type: 'get',
async:true,
timeout : 5000,
url: '/spService/'+stockcode+'/Header/realHeader',
dataType: 'json',
success: function(data) {
//基本行情
var basic = $(window.parent.document).find("#indexBasicData").text();
var ary = basic.split("|");
if(data.kp==0){
var zsz = (parseFloat(ary[0]) * data.zs).toFixed(2); //总市值
var ltsz = (parseFloat(ary[1]) * data.zs).toFixed(2); //流通市值
var sjl = (parseFloat(data.zs / ary[2]) ).toFixed(2); //市净率
$("#fvaluep").text('--'); //市盈率
$("#tvalue").text(zsz); //总市值
$("#flowvalue").text(ltsz); //流通市值
$("#tvaluep").text(sjl); //市净率
}else{
var zsz = (parseFloat(ary[0]) * data.xj).toFixed(2); //总市值
var ltsz = (parseFloat(ary[1]) * data.xj).toFixed(2); //流通市值
var sjl = (parseFloat(data.xj / ary[2]) ).toFixed(2); //市净率
$("#fvaluep").text(data.syl); //市盈率
$("#tvalue").text(zsz); //总市值
$("#flowvalue").text(ltsz); //流通市值
$("#tvaluep").text(sjl); //市净率
}
}
});
}
}

如何才能得到最终计算后的结果

假如说我做的程序要运行在手机上 在手机上去抓内容又该怎么解决
大神们有么有示例代码 真的感激不尽了
...全文
545 3 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
负刀入梦里 2018-08-17
  • 打赏
  • 举报
回复
引用 2 楼 u010286160 的回复:
[quote=引用 1 楼 uiuiy1 的回复:]
打开浏览器调试模式 你可以看到这样的一条链接,应该就是数据了
http://d.10jqka.com.cn/v2/realhead/hs_300217/last.js

确实可以通过定时返回的js数据中的内容 和 在js文件的公式得出信息

但是 有么有可以直接通过 捕获的方式 来得到异步加载后的数据[/quote]


请问现在python有现成的抓取js的库了吗? 做通用爬虫,或者大型爬虫,遇到加载ajax的都需要单独写,很麻烦.而且需要从大量的网页中寻找那些,需要ajax加载的网页
SuperLoserPeco 2017-06-05
  • 打赏
  • 举报
回复
引用 1 楼 uiuiy1 的回复:
打开浏览器调试模式 你可以看到这样的一条链接,应该就是数据了 http://d.10jqka.com.cn/v2/realhead/hs_300217/last.js
确实可以通过定时返回的js数据中的内容 和 在js文件的公式得出信息 但是 有么有可以直接通过 捕获的方式 来得到异步加载后的数据
屎克螂 2017-06-05
  • 打赏
  • 举报
回复
打开浏览器调试模式 你可以看到这样的一条链接,应该就是数据了 http://d.10jqka.com.cn/v2/realhead/hs_300217/last.js

37,743

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • WuKongSecurity@BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧