求各位大佬解答爬虫网址变化的问题
各位专家们:
本人新手,遇到网址变化问题,有点没头绪了,网址如下:
http://www.****.cn/newepaper/pc/layout/202005/13/node_001.html
这是某报纸电子版的网址,这个网址只有/202005/13/node_001.html 这个部分是变化的,
/202005/13/这个部分就是日期,但是每个月里面节假日没有报纸,所以不包括。
/node_001.html 这个部分是版面,变化规律是每天的日期后面会有node_001--008,但是1-8没有规律,有时是1-4,有时1-8,有时还会缺一个。
那么我怎么才能用python简洁地设置一个有规律“URL”,遍历出一个月里面所有出现的版面的内容呢?
求解答~~~~