请教：如何获取动态加载的网页数据

2016-10-01 06:46:11 773 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

爬取动态加载的数据爬取动态加载的数据如何确定动态加载的数据怎么爬取数据如何确定动态加载的数据爬取企业详情http://scxk.nmpa.gov.cn:81/xk/ 分析某一家企业的详情页数据是从哪里来的右键直接在页面源代码中查找公司名称，如果找不到数据就表示是动态加载的. 怎么爬取数据按照下面步骤，将所需要的url获得,请求到的url是http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList，与此同时我们也知道获得的方式是阅读详情

最近在研究做一个网页分析程序，有一个网站（1*2*3*0*6）页面显示的内容在源文件中没有，关键部分源代码是这样的：
<table>
<thead>
<tr class="th" id="float">
<th width="90" colspan="1" rowspan="1">车次</th>
<th width="100" colspan="1" rowspan="1">出发站</th>
<th width="49" colspan="1" rowspan="1">商务座</th>
</tr>
</thead>
<tbody id="queryLeftTable"></tbody>
</table>
在页面实际显示的内容中
<tbody>这里面有内容</tbody>
当中是有具体的内容的，但是在源代码中
<tbody id="queryLeftTable">这里边没有内容</tbody>

后来有老师指导说这是js动态添加的内容，查看源代码是没有的
我想获取数据表中的数据，然后点击这条数据后面的一个按钮，请教各位老师怎么实现的呢，谢谢各位啦！

...全文

【SWPUCTF 2021 新生赛】hardrce 对每个字符的ASCII值进行按位取反操作（这种要进行自增马进行绕过。阅读详情

wdwlbsm8

JavaScript 87,983 成员 224,681 内容

+ 关注 + 加入社区

切换为时间正序

cohenchen 2016-10-03

打赏
举报

引用 3 楼 u013129770 的回复:

[quote=引用 2 楼 wdwlbsm8 的回复:] [quote=引用 1 楼 u013129770 的回复:] 你是在页面加载出来过后去获取tbody内的数据，你只管获取到tbody节点，然后获取里面td的数据呗。你的问题到底是要获取数据还是要点击按钮干嘛？？

我还是不太知道怎么在加载完成之后再去获取tbody的数据，我是获取需要的数据之后点击该条对应的按钮执行一个操作。[/quote] 是我想太多还是想太少了.... 如果仅仅是获取数据，就是简简单单的操作dom


       var arr = [];
       $("#float td").each(function(ele,index){
       		arr.push($(this).text());
       });
       console.log(arr);

如果你还要做什么获取数据后，点击相对应的按钮做操作，我就不清楚了 [/quote] 我似乎把each写错了，，ele和index要换个位置

cohenchen 2016-10-03

打赏
举报

引用 2 楼 wdwlbsm8 的回复:

[quote=引用 1 楼 u013129770 的回复:] 你是在页面加载出来过后去获取tbody内的数据，你只管获取到tbody节点，然后获取里面td的数据呗。你的问题到底是要获取数据还是要点击按钮干嘛？？


       var arr = [];
       $("#float td").each(function(ele,index){
       		arr.push($(this).text());
       });
       console.log(arr);

如果你还要做什么获取数据后，点击相对应的按钮做操作，我就不清楚了

wdwlbsm8 2016-10-02

打赏
举报

引用 1 楼 u013129770 的回复:

你是在页面加载出来过后去获取tbody内的数据，你只管获取到tbody节点，然后获取里面td的数据呗。你的问题到底是要获取数据还是要点击按钮干嘛？？

我还是不太知道怎么在加载完成之后再去获取tbody的数据，我是获取需要的数据之后点击该条对应的按钮执行一个操作。

cohenchen 2016-10-02

打赏
举报

你是在页面加载出来过后去获取tbody内的数据，你只管获取到tbody节点，然后获取里面td的数据呗。你的问题到底是要获取数据还是要点击按钮干嘛？？

请教：如何获取动态加载的网页数据

相关推荐