Python抓取网站下所有page的连接

[DannyHau]

Python获取网站下所有page的URL，如何实现呢？目前没有任何思路吖！

[人傻且呆但不萌]

url ? 你抓A标签不就好了

[coderCold]

抓到首页,然后开始拿到里面的所有<a>链接,访问这些链接页面,又从这些新访问的页面获得<a>继续,过程加上判断,学学爬虫就ok了

[DannyHau]

引用 1 楼 nice_fish 的回复:

url ? 你抓A标签不就好了

某个网站下所有的page url额，意思就是遍历网站下所有page，然后获得该URL，不是某个页面的URL。 例如：csdn下那么多page的url。

[DannyHau]

引用 楼主 mvs2008 的回复:

Python获取网站下所有page的URL，如何实现呢？目前没有任何思路吖！

某个网站下所有的page url额，意思就是遍历网站下所有page，然后获得该URL，不是某个页面的URL。 例如：csdn下那么多page的url。

[DannyHau]

引用 4 楼 coderCold 的回复:

抓到首页,然后开始拿到里面的所有<a>链接,访问这些链接页面,又从这些新访问的页面获得<a>继续,过程加上判断,学学爬虫就ok了

这样可能会漏掉一些page吧

[coderCold]

引用 5 楼 mvs2008 的回复:

[quote=引用 4 楼 coderCold 的回复:] 抓到首页,然后开始拿到里面的所有<a>链接,访问这些链接页面,又从这些新访问的页面获得<a>继续,过程加上判断,学学爬虫就ok了

这样可能会漏掉一些page吧[/quote] 我觉得这样可以拿到大部分网站公开的网页了,如果实在需要后台那些比较隐秘的网页,可以hack=.=

[wm_ni]

获取页面代码，然后用BeautifulSoup解析A链接，对A链接下各个页面代码再进行获取，再解析，一般深入5～10层差不多了，否则到时候页面互相链接的话就陷入死循环了。

[hldh214]

大项目试试scarpy, 兼容Python3 小程序就使使lxml配合requests吧

[人傻且呆但不萌]

引用 8 楼 hldh214 的回复:

大项目试试scarpy, 兼容Python3 小程序就使使lxml配合requests吧

现在的进度是94%，还没有完全兼容

[hldh214]

引用 9 楼 nice_fish 的回复:

[quote=引用 8 楼 hldh214 的回复:] 大项目试试scarpy, 兼容Python3 小程序就使使lxml配合requests吧

现在的进度是94%，还没有完全兼容[/quote] 刚去看了下, 的确是没兼容, 见笑了