37,721
社区成员
发帖
与我相关
我的任务
分享Python 如何爬取相同url下，多个页面的链接内容
初学Python爬虫，计划从大连商品交易所网站，爬取每日发布的PVC市场价格数据（http://www.dce.com.cn/portal/cate?cid=1329986308100）。
目前已能够从以上链接的第一页，把该页显示的市场价格链接爬取下来，并提取出价格信息（github托管的代码https://github.com/songwill/download-pvc-data/blob/master/pagelink.txt）。
但是点击第二页后，发现url和第一页显示的一模一样，不能用学过的循环去爬取接下来的第2页、第3页……的价格链接。求大神们指点下：
1、为什么不同页面内容会在同一个url下显示
2、要爬取后续页面里的链接，代码该如何写
目前已能够从以上链接的第一页，把该页显示的市场价格链接爬取下来，并提取出价格信息（github托管的代码https://github.com/songwill/download-pvc-data/blob/master/pagelink.txt）。
但是点击第二页后，发现url和第一页显示的一模一样，不能用学过的循环去爬取接下来的第2页、第3页……的价格链接。求大神们指点下：
1、为什么不同页面内容会在同一个url下显示
2、要爬取后续页面里的链接，代码该如何写
...全文
请发表友善的回复…
发表回复
挣扎的蓝藻 2019-03-08
- 打赏
- 举报
可以看看这篇文章：Python 爬虫篇-爬取页面所有可用的链接
呵呵哒哒8 2019-02-10
- 打赏
- 举报
在网页源码里面查看 url 就可以看到每个URL不一样 只不过页面网址显示的URL一样 你可以在源码的URL里面找到规律使用循环
屎克螂 2016-04-06
- 打赏
- 举报
1、为什么不同页面内容会在同一个url下显示
简单来说一个url就是代表一个页面，常常看到一个url展示不同数据是ajax局部刷新技术，这时浏览器的url并没有变，不过可以通过F12进入调试模式看到它走了一个新的url
2、要爬取后续页面里的链接，代码该如何写
在浏览器上进入调试模式看看点击下一页 提交的url 参数是什么 然后用程序模拟出来
qq_34549941 2016-04-05
- 打赏
- 举报
碰到了几乎一模一样的问题，帖子过去这么久，还是希望楼主能回复一下，想要请教这个问题。
PPJER 2015-09-25
- 打赏
- 举报
表单的方式怎么爬取，楼主能否给出样例代码
PPJER 2015-09-25
- 打赏
- 举报
表单的方式怎么爬取，楼主能否给出样例代码
baidu_25048477 2015-09-25
- 打赏
- 举报
你是怎么成功的？可以贴代码看看吗？我也遇到类似的了
夏天__ 2015-07-28
- 打赏
- 举报
F12 开调试功能 就可以看到提交的 表单数据
zd96998 2015-07-24
- 打赏
- 举报
你也可以先获取每个主题的url
songwill2010 2015-07-22
- 打赏
- 举报
谢谢提醒，已通过查询post data ，用表单提交方式解决
sprawling 2015-07-20
- 打赏
- 举报
利用提交表单的方式试试吧。
