为什么爬虫有时候能用有时候不能？

2015-12-19 02:52:00 524 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

什么是网络爬虫又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。网络爬虫可以根据指定的规则，从互联网上下载网页、图片、视频等内容，并抽取其中的有用信息进行处理。网络爬虫的工作流程包括获取网页源代码、解析网页内容、存储数据等步骤。根据其目的和工作方式的不同，网络爬虫可以分为多种类型。常见的网络爬虫包括通用爬虫、聚焦爬虫、增量式爬虫等。阅读详情

比如说我爬一个网页的段子，一个星期前还能用，现在就什么都不显示了。
代码如下：

#coding:utf-8

import urllib2

import re





user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'

headers = {'User-Agent': user_agent }

class QSBK:



    def getPage(self):

        url='http://www.qiushibaike.com/hot/page/1'

        request = urllib2.Request(url,headers = headers)

        response = urllib2.urlopen(request)

        return response.read()



    def getContent(self):

        pattern = r'<div class="content">(.*?)</div>'

        page = self.getPage()

        content = re.findall(pattern,page)

        for c in content:

            print(c[0])





qsbk = QSBK()

qsbk.getContent()

网址：http://www.qiushibaike.com/hot/page/1'
<div class="content">

熊孩子问：“妈妈，今天你能带我吃汉堡去吗？”<br/>妈妈：“你要能写出汉堡这俩字，我就带你去。”<br/>熊孩子：“那咱们去吃KFC吧！我会写KFC。


</div>

记得上次在pycharm里不能直接显示中文，就储存进了文本，还算正常。
那这次为什么什么都不显示了呢？望指教。

...全文