python爬虫的逻辑上的问题，我已经晕了。求高手帮忙-CSDN论坛

python爬虫的逻辑上的问题，我已经晕了。求高手帮忙

其他开发语言 > 脚本语言(Perl/Python)

收藏回复

[问题点数：20分，结帖人vivre_1]

⋅wordpress搬家后不能上传附件了 ⋅CkSpider抓取的页面不包含 exe,jpg,pdf等等结尾的页面，求解决 ⋅python爬虫的逻辑上的问题，我已经晕了。求高手帮忙 更多帖子 关注私信空间博客 vivre_1 等级 本版专家分：60 结帖率 80%

import urllib

import HTMLParser



class LinkParser(HTMLParser.HTMLParser):

    def __init__(self):

        HTMLParser.HTMLParser.__init__(self)

        self.links= []



    def handle_starttag(self,tag,attrs):

        if tag == 'a':

            for name,value in attrs:

                if name == 'href':

                    self.links.append(value)



def parseLinks(url):

    parser = LinkParser()

    parser.feed(urllib.urlopen(url).read())

    return parser.links



def completeLink(url):

    root = "http://127.0.0.1"  

    if url.startswith('http://'):

        return url

    elif url.startswith('/'):

        return root + url

    else:

        return root + '/' + url

     

if __name__=='__main__':

    links = parseLinks("http://127.0.0.1")

    i = 0

    while i < len(links):

        links[i] = completeLink(links[i])

        try:

            morelinks = parseLinks(links[i])

        except Exception, e:

            print e         

        j = 0

        while j < len(morelinks):

            item = completeLink(morelinks[j])

            j = j + 1

            if item not in links:

                print item

                links.append(item)

                print len(links)

        i = i + 1

    print links

    raw_input()

在以下这个函数里面需要加上一个判断，对于不是我要爬行的URL进行删除，怎么删除啊？可以直接删除main中的links么？

def completeLink(url):

    root = "http://127.0.0.1"  

    if url.startswith('http://'):

        return url

    elif url.startswith('/'):

        return root + url

    else:

        return root + '/' + url

2011-04-11 11:12:51

点赞只看楼主引用举报楼主收起

展开阅读全文

⋅wordpress搬家后不能上传附件了 ⋅CkSpider抓取的页面不包含 exe,jpg,pdf等等结尾的页面，求解决 ⋅python爬虫的逻辑上的问题，我已经晕了。求高手帮忙 更多帖子 关注私信空间博客 vivre_1 等级 本版专家分：60

import urllib

import HTMLParser



class LinkParser(HTMLParser.HTMLParser):

    def __init__(self):

        HTMLParser.HTMLParser.__init__(self)

        self.links= []



    def handle_starttag(self,tag,attrs):

        if tag == 'a':

            for name,value in attrs:

                if name == 'href':

                    self.links.append(value)



def parseLinks(url):

    parser = LinkParser()

    parser.feed(urllib.urlopen(url).read())

    return parser.links



def completeLink(url):

    root = "http://www.yxlink.com"  

    if url.startswith('http://'):

        return url

    elif url.startswith('/'):

        return root + url

    else:

        return root + '/' + url

     

if __name__=='__main__':

    links = parseLinks("http://www.yxlink.com")

    i = 0

    while i < len(links):

        links[i] = completeLink(links[i])

        i=i+1

    i = 0

    while i < len(links):

        item=links[i]

        if item.startswith("http://www.yxlink.com"):

            print len(links)

        else:

            print item

            links.remove(item)

            i = i - 1

        i = i + 1

    i = 0

    while i < len(links):

        try:

            print urllib.urlopen(links[i]).read()

            morelinks = parseLinks(links[i])

        except Exception, e:

            print e

        for item in morelinks:

            item = completeLink(item)           

            print item

            if item.startswith("http://www.yxlink.com"):

                if item not in links:

                    links.append(item)

                    print item

                    print len(links)

        i = i + 1

    print "*****************"

    for item in links:

        print item

    print len(links)

    raw_input()

上面的问题解决了但是现在
morelinks 中读取的URL不正常，求解释啊。

2011-04-11 13:30:53

点赞只看TA 引用举报 #1得分 0

⋅如何读取硬盘固件 ⋅淘宝双十一促销 ⋅我做的一个网址缩短应用，现开源使用 更多帖子 关注私信空间博客 luotuo512 等级 本版专家分：1148: morelinks 中读取的URL不正常，那就打印出来看看啊

2011-04-11 14:22:02

点赞只看TA 引用举报 #2得分 0

⋅wordpress搬家后不能上传附件了 ⋅CkSpider抓取的页面不包含 exe,jpg,pdf等等结尾的页面，求解决 ⋅python爬虫的逻辑上的问题，我已经晕了。求高手帮忙 更多帖子 关注私信空间博客 vivre_1 等级 本版专家分：60: 应该是htmlparser的问题，已经换了beautiful soup 解决了

2011-04-11 16:36:51

点赞只看TA 引用举报 #3得分 0

import urllib

import HTMLParser

from BeautifulSoup import BeautifulSoup

import sys

import socket



socket.setdefaulttimeout(2) 



class LinkParser(HTMLParser.HTMLParser):

    def __init__(self):

        HTMLParser.HTMLParser.__init__(self)

        self.links= []



    def handle_starttag(self,tag,attrs):

        if tag == 'a':

            for name,value in attrs:

                if name == 'href':

                    self.links.append(value)



def parseLinks(url):

    parser = LinkParser()

    parser.feed(urllib.urlopen(url).read())

    return parser.links



def completeLink(url,domain):

    root = domain 

    if url.startswith('http://'):

        return url

    elif url.startswith('/'):

        return root + url

    else:

        return root + '/' + url

     

if __name__=='__main__':

    host = sys.argv[1]

    links = []

    try:

        soup = BeautifulSoup(urllib.urlopen(host).read())

        test = soup.findAll('a')

        for temp in test:

            links.append(completeLink(temp['href'],host))

        i = 0 

        while i < len(links):

            item=links[i]

            if item.startswith(host):

                if item.find(":",5)>0:

                    links.remove(item)

                    i = i -1

            else:

                print item

                links.remove(item)

                i = i - 1

            i = i + 1

    except Exception,e:

            print e       

    i = 0    

    while i < len(links):

        try:

            soup = BeautifulSoup(urllib.urlopen(links[i]).read())

            test = soup.findAll('a')

            for temp in test:

                link = completeLink(temp['href'],host)

                if link.startswith(host):

                    if link not in links:

                        if link.find(":",5)>0:

                            print link

                        else:    

                            print link

                            links.append(link)

                            print len(links)

        except Exception,e:

            print "***********"

            print links[i],e

            print "***********"

            links.remove(links[i])

            i = i - 1

        i = i + 1

    print len(links)

    raw_input('end')

2011-04-11 16:37:59

点赞只看TA 引用举报 #4得分 0

⋅发两个Python脚本：迅雷离线下载和优酷视频下载 ⋅继续回复vivre_1“求助 python的问题” ⋅推荐语言：Go/Python/Clojure/F#/Haskell 更多帖子 关注私信空间博客 iambic 等级 本版专家分：49079 勋章 红花 2012年2月其他开发语言大版内专家分月排行榜第一 2011年12月其他开发语言大版内专家分月排行榜第一 2011年11月其他开发语言大版内专家分月排行榜第一 2011年10月其他开发语言大版内专家分月排行榜第一 2011年9月其他开发语言大版内专家分月排行榜第一 2011年8月其他开发语言大版内专家分月排行榜第一 2011年7月其他开发语言大版内专家分月排行榜第一 2011年6月其他开发语言大版内专家分月排行榜第一 2011年3月其他开发语言大版内专家分月排行榜第一 2011年2月其他开发语言大版内专家分月排行榜第一 2010年11月其他开发语言大版内专家分月排行榜第一 2010年10月其他开发语言大版内专家分月排行榜第一 2010年9月其他开发语言大版内专家分月排行榜第一 2009年3月其他开发语言大版内专家分月排行榜第一 2007年10月其他开发语言大版内专家分月排行榜第一 2007年9月其他开发语言大版内专家分月排行榜第一 2007年7月其他开发语言大版内专家分月排行榜第一 2007年3月其他开发语言大版内专家分月排行榜第一 黄花 2012年1月其他开发语言大版内专家分月排行榜第二 2011年5月其他开发语言大版内专家分月排行榜第二 2010年12月其他开发语言大版内专家分月排行榜第二 2009年2月其他开发语言大版内专家分月排行榜第二 2008年9月其他开发语言大版内专家分月排行榜第二 2008年8月其他开发语言大版内专家分月排行榜第二 2008年5月其他开发语言大版内专家分月排行榜第二 2007年11月其他开发语言大版内专家分月排行榜第二 蓝花 2011年4月其他开发语言大版内专家分月排行榜第三 2011年1月其他开发语言大版内专家分月排行榜第三 2009年6月其他开发语言大版内专家分月排行榜第三 2009年4月其他开发语言大版内专家分月排行榜第三 2009年1月其他开发语言大版内专家分月排行榜第三 2008年11月其他开发语言大版内专家分月排行榜第三 2008年7月其他开发语言大版内专家分月排行榜第三 2008年6月其他开发语言大版内专家分月排行榜第三 2006年9月其他开发语言大版内专家分月排行榜第三: 终于换beautiful soap了？
我记得之前也有好几个人问HTMLParser，不知道是不是你，我提过好几次HTMLParser不好用，实践中很少用。
倒不见得是有bug，就是不好用，以致于让你觉得“是HTMLParser的问题”。

2011-04-12 12:20:40

点赞 1 只看TA 引用举报 #5得分 20

⋅如何读取硬盘固件 ⋅淘宝双十一促销 ⋅我做的一个网址缩短应用，现开源使用 更多帖子 关注私信空间博客 luotuo512 等级 本版专家分：1148: 因为有个书上给的爬虫例子是HTMLParser的，哈哈。

引用 5 楼 iambic 的回复:
终于换beautiful soap了？
我记得之前也有好几个人问HTMLParser，不知道是不是你，我提过好几次HTMLParser不好用，实践中很少用。
倒不见得是有bug，就是不好用，以致于让你觉得“是HTMLParser的问题”。

2011-04-12 14:03:03

点赞只看TA 引用举报 #6得分 0

引用 5 楼 iambic 的回复:

终于换beautiful soap了？
我记得之前也有好几个人问HTMLParser，不知道是不是你，我提过好几次HTMLParser不好用，实践中很少用。
倒不见得是有bug，就是不好用，以致于让你觉得“是HTMLParser的问题”。

恩是我啦，当时那段程序写了没用，最近有项目来了，就拿起来改了改，beautiful soup还不错挺好用的，我现在有个问题，您帮我看下吧，抓特定页面的时候会报错我把报错的代码发给你看下

from BeautifulSoup import BeautifulSoup

import urllib



def completeLink(url):

    root = "http://www.chem960.com"  

    if url.startswith('http://'):

        return url

    elif url.startswith('/'):

        return root + url

    else:

        return root + '/' + url



if __name__=='__main__':

    links = []

    try:

        soup = BeautifulSoup(urllib.urlopen("http://www.chem960.com/productSupplyShow_582388.shtml").read())

        test = soup.findAll('a')

        for temp in test:

            links.append(completeLink(temp['href']))

            print completeLink(temp['href'])

    except Exception,e:

        print e,22

    raw_input()

2011-04-12 19:22:17

点赞只看TA 引用举报 #7得分 0

收起

收藏回复

vivre_1

等级：

关注私信 TA的帖子

自学Python的最佳选择《Python可以这样学》正式出版: 资深Python爱好者董付国老师编著的经典图书《Python可以这样学》正式出版，500页78万7千字巨献，清华大学出版社官网已挂出有关信息，应该这几天很快就可以通过官网购买了，预计一周内将在亚马逊、京东、当当、互动...

给Python初学者的几点建议: 如果您自认为是个Python高手，请主动略过此文，因为此文对所谓的高手过敏…… 高手请绕道首先，明确你的目的，目的对于任何技术类知识的学习都很重要。Python作为一门编程语言，它提供了很多第三方模块，这些...

终结篇：Python进阶之路 #P013#: 到这里，我们的课程就要结束了。如果读者能够读到这里，那一定...Python是一门编程语言，使用范围非常广泛，因此，大家不要去追求精通Python程序语言自身，而应该将精力放在自己需要解决的实际问题上。其次，绝大多...

哪些 Python 库让你相见恨晚？: https://www.zhihu.com/question/24590883 173 个回答知乎用户 ...Awesome Python中文版来啦！本文由伯乐在线 - 艾凌风翻译，Namco 校稿。未经许可，禁止转载！英文出处：g

从一道面试题谈谈一线大厂码农应该具备的基本能力: 作者:Yura Shevchenko 来源：skypixel.com关于一线码农的面试，我想说求职面试在绝大部分人来说都是必不可少的，自己作为求职者也参与了不少面试（无论成功或者失败）...

一个程序员多年的收藏: 昨天很郁闷，我用了5年的移动硬盘，莫名奇妙的坏掉了。里面40G的资料全部报销了。为了不再重蹈覆辙，我决定把重要的电子书都放到网络硬盘上去备份。索性将这些资料的下载方式公布出来，与大家分享，一定会有你想...

如何使用Google解决问题: 我对于本文所导致的任何后果概不负责。 2. 本文所面向的读者本文介绍了使用google解决难题的一些高级技术，重点讲述了如何选择关键字，如何分析过滤信息等等。通过阅读本文，你会明白在极大的时间压力下快速解决高...

如何使用google解决问题（来自《程序员》杂志）: 如何使用google解决问题 redguardtoo著文章选自2004年《程序员》杂志第8期P56 前面收集了篇如何问问题的文章就是《学会提问》http://blog.programfan.com/article.asp?id=7207，觉得很不错，这里继续有关...

如何使用google解决问题: 如何使用google解决问题（来自《程序员》杂志）(2005-11-22 18:18:00) 【收藏】【评论】【打印】【关闭】标签:程序人生如何使用google解决问题 redguardtoo著文章选自2004年...

多年的收藏: 昨天很郁闷，我用了5年的移动硬盘，莫名奇妙的坏掉了。里面40G的资料全部报销了。为了不再重蹈覆辙，我决定把重要的电子书都放到网络硬盘上去备份。索性将这些资料的下载方式公布出来，与大家分享，一定会...

收藏吧少年: 年的收藏 2013-11-12 21:44 1359人阅读评论(0) 收藏举报目录(?)[+] ...昨天很郁闷，我用了5年的移动硬盘，莫名奇妙的坏掉了。...为了不再重蹈覆辙，我决定把重要的电子书都放到网络

一个程序员的多年珍藏--收藏: 昨天很郁闷，我用了5年的移动硬盘，莫名奇妙的坏掉了。里面40G的资料全部报销了。为了不再重蹈覆辙，我决定把重要的电子书都放到网络硬盘上去备份。索性将这些资料的下载方式公布出来，与大家分享，

有一种收藏叫转载: 昨天很郁闷，我用了5年的移动硬盘，莫名奇妙的坏掉了。里面40G的资料全部报销了。为了不再重蹈覆辙，我决定把重要的电子书都放到网络硬盘上去备份。索性将这些资料的下载方式公布出来，与大家分享，一定会有你想...

other 猿多年收藏: 昨天很郁闷，我用了5年的移动硬盘，莫名奇妙的坏掉了。里面40G的资料全部报销了。为了不再重蹈覆辙，我决定把重要的电子书都放到网络硬盘上去备份。索性将这些资料的下载方式公布出来，与大家分享，一定会有你想...

一张图带你搞懂大数据，彻底了解大数据经典路线？: 对有些人来说，大数据早被说烂，已经是过时的风口；对有些人来说，大数据似懂非懂，听起来很“高大上”； /01/ 什么是大数据关于大数据的概念，有诸多版本，如同文化、精神这类词，没有统一定义。这里不是...

软件测试前景和发展方向: 2019最热门的软件测试趋势毛哥（译）放眼全球，了解技术发展的边界和趋势，有助于组织和个人的发展及竞争力的提升，偶尔看到国外某网站的一篇文章，读来颇值得参考，简单翻译过来，分享一下。...

详解spring的IOC控制反转和DI依赖注入: 转载详解spring的IOC控制反转和DI依赖注入 ...

Perl语言如何学习总结: 如果你对某个函数的使用不清楚，那么在命令行上使用 perldoc 函数名来查阅 Perl 自带文档。你也可以把函数名替换为模块名来查阅模块文档。例如perldoc LWP::Simple 当然, 如果英文有困难的话，还是建议阅读 ...

转的一杂谈: 1、HTML静态化其实大家都知道，效率最高、消耗最小的就是纯静态化的html页面，所以我们尽可能使我们的网站上的页面采用静态页面来实现，这个最简单的方法其实也是最有效的方法。但是对于大量内容并且频繁更新的网站...

Dao 繼承 HibernateDaoSupport後，使用註解注入sessionFactory: 原创 Dao 繼承 HibernateDaoSupport後，使用註解注入sessionFactory ...

技术分享: 2014-10-20每日一读每天进步一点云架构和openstack的思考 ...2、云建设要解决的问题是什么？ 3、建设云需要从哪方面来看待？面试题、经验分享及新手问答整理 http://www.aboutyun.com/thread-9

相关热词 c# directx 关闭进程时执行c# c#工业应用 c#状态栏控件 c#窗体调颜色 c# 设置listbox c#窗口实现好友列表 c# orm 框架哪个好 c# 字符串转变量名 c# float 赋值