Python 如何爬取相同url下，多个页面的链接内容

2015-07-20 09:51:59 7.3k 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

songwill2010 墨衍会员 · AI 创作全网分发关注 + 加入社区

Python爬虫之爬取动态页面数据很多网站通常会用到Ajax和动态HTML技术，因而只是使用基于静态页面爬取的方法是行不通的。对于动态网站信息的爬取需要使用另外的一些方法。先看看如何分辨网站时静态的还是动态的，正常而言含有“查看更多”字样或者打开网站时下拉才会加载内容出来的进本都是动态的，简便的方法就是在浏览器中查看页面相应的内容、当在查看页面源代码时找不到该内容时就可以确定该页面使用了动态技术。对于动态页面信息的爬取，一阅读详情

初学Python爬虫，计划从大连商品交易所网站，爬取每日发布的PVC市场价格数据（http://www.dce.com.cn/portal/cate?cid=1329986308100）。

目前已能够从以上链接的第一页，把该页显示的市场价格链接爬取下来，并提取出价格信息（github托管的代码https://github.com/songwill/download-pvc-data/blob/master/pagelink.txt）。
但是点击第二页后，发现url和第一页显示的一模一样，不能用学过的循环去爬取接下来的第2页、第3页……的价格链接。求大神们指点下：
1、为什么不同页面内容会在同一个url下显示
2、要爬取后续页面里的链接，代码该如何写

...全文