Python 爬虫程序跑不动了

2016-10-23 08:34:14 1k 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

什么是网络爬虫又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。网络爬虫可以根据指定的规则，从互联网上下载网页、图片、视频等内容，并抽取其中的有用信息进行处理。网络爬虫的工作流程包括获取网页源代码、解析网页内容、存储数据等步骤。根据其目的和工作方式的不同，网络爬虫可以分为多种类型。常见的网络爬虫包括通用爬虫、聚焦爬虫、增量式爬虫等。阅读详情

大家好！我今天在用Python写爬虫程序的时候遇到了一个问题，
我程序的思路是这样：首先从一个 txt文件中读取关键词，然后以这个关键词为条件在搜索引擎（百度）中搜索结果，将每次搜索的页面获取后利用正则表达式获取自己想要的内容。
问题是：txt文件的前几行是可以搜索出来并利用正则获取结果，但是有时候txt文件的后面几行就没反应了，但是有时候又是可以搜索出来结果的，有时候还会出现 httplib error啥的，感觉很郁闷。
请问各位这是什么情况呢？是不是哪里的参数没有设置呢？下面是我的源码：

user_agent = "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; Trident/6.0)"

    headers = {"User-Agent":user_agent}

    baseUrl = 'http://www.baidu.com/s'

    word = search_str #搜索关键词

    data = {'wd':word}

    data = urllib.urlencode(data)

    url = baseUrl+'?'+data

    #伪装浏览器——加一个 user-agent

    try :

        qingqiu = urllib2.Request(url,headers=headers);

        xaingying = urllib2.urlopen(qingqiu)

        #筛选：

        items = re.findall('(百度为您找到相关结果约)([0-9].*?)(个)',xaingying.read(), re.S)

        for item in items:

            str = item[1];

            num = int(str.replace(',', ''),10)

            if num >= 10000:

                return num 

            else:

                continue

            #     print xaingying.read()

    except urllib2.URLError,e:

        if hasattr(e,"code"):

            print e.code

        if hasattr(e,"reason"):

            print e.reason