[D]python如何判断2个url是否属于同一网站？

yy1990cn 2012-05-08 05:05:45

给出2个url，如何判断他们是不是同一个网站，我本来想用urlparse模块，用它的hostname判断，可是这样一来就出现判断失误，比如说http://www.sina.com和http://blog.sina.com如果比较hostname就不是一个网站，我想写一个脚本爬新浪的网页，解析页面后我要排除指向外站的链接，不知有没有什么好的方法，谢谢

----------------------------
Double行动：
原帖分数：30
加分：30

...全文

953 10 打赏收藏转发到动态举报

写回复

10 条回复

切换为时间正序

请发表友善的回复…

发表回复

鹏程似锦 2012-05-10

打赏
举报

回复

果断用正则表达式

KimboQi 2012-05-09

打赏
举报

回复

没这么复杂吧？".".join(hostname.split(".")[1:3])

fibbery 2012-05-09

打赏
举报

回复

换一个思路，一般来说域名不一样了，可能是一个网站的分支站点，你完全可以将它们看成不同的网站，只不过你爬的时候，多加些种子就行了。

恨天低 2012-05-09

打赏
举报

回复

怎么解决的？

jiuchang 2012-05-09

打赏
举报

回复

先把域名取出来，然后用点分，取最后两节进行比较，相同的就是同一个网站的，不同的那倒不一定不是，呵呵

yy1990cn 2012-05-08

打赏
举报

回复

[Quote=引用 4 楼的回复:]

dns基本都封了，你用alexa查一下吧，流量太小一般也没爬的价值了
[/Quote]
我是编程练手而已，最近对python的web编程很感兴趣，问题已经解决，只是实现有点别扭

I_NBFA 2012-05-08

打赏
举报

回复

dns基本都封了，你用alexa查一下吧，流量太小一般也没爬的价值了

yy1990cn 2012-05-08

打赏
举报

回复

[Quote=引用 2 楼的回复:]

顶级域名哦
[/Quote]
你说到点子上了，不过这个还真不好实现，挺麻烦的，有没有什么好的思路呢

KimboQi 2012-05-08

打赏
举报

回复

顶级域名哦

KimboQi 2012-05-08

打赏
举报

回复

写个正则匹配域名

一、同步与异步 #同步编程（同一时间只能做一件事，做完了才能做下一件事情） <-a_url-><-b_url-><-c_url-> #异步编程 (可以近似的理解成同一时间有多个事情在做，但有先后) <-a_url-> <-b_url-> <-c_url-> <-d_url-> <-e_url-> <-f_url-> <-g_url-> <-h_url-> <--i_url--> <--j_url--> 模板 import asyncio #函数名:做现在的任务时不等待，能继续做别的任务。 async def donow_meantime_dontwait(

python爬虫-翻页url不变网页的爬虫探究 url随着翻页改变的爬虫已经有非常多教程啦，这里主要记录一下我对翻页url不变网页的探究过程。学术菜鸡第一次写CSDN，请大家多多包容～如果对你有一点点帮助，请帮我点个赞吧！翻页url不变与翻页url改变有什么区别？ url其实就是链接，翻页url改变的链接就是翻页请求在url中体现的链接，比方说很多爬虫初学者的第一个爬虫实例：爬取豆瓣电影top250的信息。注意看这个网站的链接！！这里可以看到控制页数的参数start直接在url中体现了，

据说,python是方便抓取网页数据。今天让我们试试。它有多方便的对于python来抓取数据。介绍抓取数据,基本上得到这个网页的源代码通过网页的URL,并过滤出所需的信息根据源代码。准备IDE: pyCharm库:请求,\u2026进口lxml进口etree #链接url = ' http:\/\/www ' #循环得到分页我范围内(26):#找到关键字查询的页面数量={\u201C页面\u201...

python爬虫-翻页url不变网页的爬虫探究url随着翻页改变的爬虫已经有非常多教程啦，这里主要记录一下我对翻页url不变网页的探究过程。学术菜鸡第一次写CSDN，请大家多多包容～如果对你有一点点帮助，请帮我点个赞吧！翻页url不变与翻页url改变有什么区别？url其实就是链接，翻页url改变的链接就是翻页请求在url中体现的链接，比方说很多爬虫初学者的第一个爬虫实例：爬取豆瓣电影top...

python爬虫-翻页url不变网页的爬虫探究 url随着翻页改变的爬虫已经有非常多教程啦，这里主要记录一下我对翻页url不变网页的探究过程。学术菜鸡第一次写CSDN，请大家多多包容～如果对你有一点点帮助，请帮我点个赞吧！翻页url不变与翻页url改变有什么区别？ url其实就是链接，翻页url改变的链接就是翻页请求在url中体现的链接，比方说很多爬虫初学者的第一个爬虫实例：爬取豆瓣电影top250的信息。注意看这个网站的链接！！这里可以看到控制页数的参数start直接在url中

37,741

社区成员

34,213

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章