python2.7爬虫抓取gb2312为乱码,怎么解决

2017-06-21 09:57:15 660 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

网络爬虫之必备知识摘要：本文主要理清网络爬虫的概念，简要讲解爬虫的必备知识，分为python基础、字符编码、http头信息、http状态码、html基础、爬虫职业道德。内容浅显，主要理一理相关知识。一、网络爬虫的概念网络爬虫，又被称为网页蜘蛛，网络机器人，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。通俗的说，我们写爬虫的目的就是自动从不同的网页上提取海量的数据。以下是我之前爬取的部分数据阅读详情

代码如下看的七月语法视频的，不知道问题出在哪里？？请指教下谢谢各位

# coding=utf-8

import requests

import xml.etree.ElementTree as ET

from xml.parsers.expat import ParserCreate



import sys

reload(sys)

sys.setdefaultencoding('utf-8')



class DefaultSaxHandler(object):

    def __init__(self, provinces):

        self.provinces = provinces



    # 处理标签开始

    def start_element(self, name, attrs):

        if name != 'map':

            name = attrs['title']

            number = attrs['href']

            self.provinces.append((name, number))



    # 处理标签结束

    def end_element(self, name):

        pass



    # 文本处理

    def char_data(self, text):

        pass

    

def get_province_entry(url):

    # 获取文本，并用gb2312解码

    content = requests.get(url).content.decode('gb2312')

    # 确定要查找字符串的开始结束位置，并用切片获取内容。

    start = content.find('<map name=\"map_86\" id=\"map_86\">')

    end = content.find('</map>')

    content = content[start:end + len('</map>')].strip()

    provinces = []

    # 生成Sax处理器

    handler = DefaultSaxHandler(provinces)

    # 初始化分析器

    parser = ParserCreate()

    parser.StartElementHandler = handler.start_element

    parser.EndElementHandler = handler.end_element

    parser.CharacterDataHandler = handler.char_data

    # 解析数据

    parser.Parse(content)

    # 结果字典为每一页的入口代码

    

    return provinces



provinces = get_province_entry('http://www.ip138.com/post')

print provinces