这个网页是如何取得实际数据的？

2015-04-29 09:02:00 295 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

Python爬虫：Scrapy框架处理动态网页数据在实际的网络环境中，许多网页是动态生成的，传统的爬虫方法可能无法有效获取其中的数据。Scrapy 框架本身主要处理静态网页，但借助一些工具，我们可以让它具备处理动态网页数据的能力。本文将详细介绍如何结合 Selenium 和 Scrapy 来处理动态网页，包括原理、环境搭建和具体实现步骤。Selenium 是一个自动化测试工具，它可以模拟用户在浏览器中的操作，如点击按钮、输入文本、滚动页面等。阅读详情

我在做些从网页中采集数据的程序。例如股票数据吧，例如这个网页：
http://stock.jrj.com.cn/share,600036.shtml
可以看到页面一部分是这样的：

我想把这些部分数据用程序采集下来：
昨收：18.36元最高：18.86元涨停：20.20元
今开：18.60元最低：18.41元跌停：16.52元

数据采集的思路很容易，取回它的html，再分析提取就可以了。我希望取回的html是这样：
......
<TD>昨收：18.36元</TD>
<TD>最高：18.86元</TD>
<TD>涨停：20.20元</TD>
......
这样我就好做分析和提取了。但我检查了上述页面，它的html居然是这样的：
......
<TD>昨收：--</TD>
<TD>最高：--</TD>
<TD>涨停：--</TD>
......
没有具体数据在html里面。我就没法从这个html提取我要的数据了。
它的数据好像是调用不知道什么地方然后实时从网上取得的。因为如果我断开网络，打开这个html文件，它就是这样的情况：

所有的数据都变“--”了。如果连上网络就正常了。我很想搞清楚这个网页到底是如何取得数据的？是调了哪个js函数吗？怎么知道是哪个？貌似跟标签有关？因为如果我去掉这些标签之后，不管有没有联网，浏览器显示也是上图这样了。但标签我百度了下，不是这是强调用只是影响字体的吗？怎么会跟数据有关系呢？我不太懂html和css，请大家指教，告诉我这个网页的实时数据是怎么取到的？非常感谢！

...全文