求python大神指点--python爬虫问题-CSDN论坛

CSDN论坛 > Java > Web 开发

求python大神指点--python爬虫问题 [问题点数：20分，结帖人weixin_43307865]

一键查看最优答案

确认一键查看最优答案？

本功能为VIP专享，开通VIP获取答案速率将提升10倍哦！

取消

开通vip会员

⋅求python大神指点--python爬虫问题

更多帖子

关注私信空间博客

瘦死的黑骆驼

本版专家分：2255

GitHub 绑定GitHub第三方账户获取

黄花 2019年9月 Java大版内专家分月排行榜第二

结帖率 100%: 问题描述起来很简单：目前只知道一个域名如www.aaaa.com,该域名上部署了一个网站，如何能将该域名下所有的页面都爬出来，不知道能不能实现

0 2019-07-12 17:39:33

回复数 5 只看楼主引用举报楼主

⋅此用户还没有发表过任何帖子 关注私信空间博客 海上的程序猿 本版专家分：14: 肯定是可以的。
但是有个问题，需要查看该域名下页面的具体情况，我之前遇到过一个特别乱的网站，每天都会生成新的界面，且规律不一。

如果想爬取一个域名下的所有界面，直接采用遍历，将所有的跳转界面都拉下来就可以了。

0 2019-07-12 17:46:07

只看TA 引用举报 #1 得分 10

⋅求python大神指点--python爬虫问题

更多帖子

关注私信空间博客

瘦死的黑骆驼

本版专家分：2255

GitHub 绑定GitHub第三方账户获取

黄花 2019年9月 Java大版内专家分月排行榜第二: 引用 1 楼我家胖鱼爱吃肉的回复:
肯定是可以的。
但是有个问题，需要查看该域名下页面的具体情况，我之前遇到过一个特别乱的网站，每天都会生成新的界面，且规律不一。

如果想爬取一个域名下的所有界面，直接采用遍历，将所有的跳转界面都拉下来就可以了。

问题是我根本不知道这个域名下有哪些页面，完全不知道URL，我要怎么匹配到这些页面呢

0 2019-07-12 18:26:51

只看TA 引用举报 #2 得分 0

流泪熊猫头

本版专家分：447

GitHub 绑定GitHub第三方账户获取: 使用相关工具进行网站目录扫描，得到扫描结果就可以用了

0 2019-07-12 18:57:38

只看TA 引用举报 #3 得分 20

⋅求python大神指点--python爬虫问题

更多帖子

关注私信空间博客

瘦死的黑骆驼

本版专家分：2255

GitHub 绑定GitHub第三方账户获取

黄花 2019年9月 Java大版内专家分月排行榜第二: 引用 3 楼流泪熊猫头的回复:
使用相关工具进行网站目录扫描，得到扫描结果就可以用了

使用什么工具啊，求推荐个，谢谢

0 2019-07-12 22:22:54

只看TA 引用举报 #4 得分 0

⋅求python大神指点--python爬虫问题

更多帖子

关注私信空间博客

瘦死的黑骆驼

本版专家分：2255

GitHub 绑定GitHub第三方账户获取

黄花 2019年9月 Java大版内专家分月排行榜第二: 引用 3 楼流泪熊猫头的回复:
使用相关工具进行网站目录扫描，得到扫描结果就可以用了

扫描网站不行的吧，这是别人的网站，没有权限啊，只能http请求然后下载啊，完全不知道URL怎么扫描呢

0 2019-07-12 22:27:46

只看TA 引用举报 #5 得分 0

收藏帖子