求python大神指点--python爬虫问题

[瘦死的黑骆驼]

问题描述起来很简单：目前只知道一个域名如www.aaaa.com,该域名上部署了一个网站，如何能将该域名下所有的页面都爬出来，不知道能不能实现

[海上的程序猿]

肯定是可以的。 但是有个问题，需要查看该域名下页面的具体情况，我之前遇到过一个特别乱的网站，每天都会生成新的界面，且规律不一。 如果想爬取一个域名下的所有界面，直接采用遍历，将所有的跳转界面都拉下来就可以了。

[瘦死的黑骆驼]

引用 1 楼 我家胖鱼爱吃肉 的回复:

肯定是可以的。 但是有个问题，需要查看该域名下页面的具体情况，我之前遇到过一个特别乱的网站，每天都会生成新的界面，且规律不一。 如果想爬取一个域名下的所有界面，直接采用遍历，将所有的跳转界面都拉下来就可以了。

问题是我根本不知道这个域名下有哪些页面，完全不知道URL，我要怎么匹配到这些页面呢

[流泪熊猫头]

使用相关工具进行网站目录扫描，得到扫描结果就可以用了

[瘦死的黑骆驼]

引用 3 楼 流泪熊猫头 的回复:

使用相关工具进行网站目录扫描，得到扫描结果就可以用了

使用什么工具啊，求推荐个，谢谢

[瘦死的黑骆驼]

引用 3 楼 流泪熊猫头 的回复:

使用相关工具进行网站目录扫描，得到扫描结果就可以用了

扫描网站不行的吧，这是别人的网站，没有权限啊，只能http请求然后下载啊，完全不知道URL怎么扫描呢