python 爬虫在xpath中的乱码问题

[k826416971]

最近在学python 在学习多线程爬虫xpath的时候，发现xpath的乱码问题，去百度很很多解决乱码的方法，但是都不行。请各位大牛帮我看看

#-*-coding:utf8-*-
import requests
import sys
from lxml import etree
reload(sys)
sys.setdefaultencoding('gbk')
url='http://www.jikexueyuan.com/course/902_2.html?ss=1'
html =requests.get(url)
selector = etree.HTML(html.content)
#提取文本
content = selector.xpath('//*[@id="pager"]/div[3]/div[2]/div[2]/ul/li[1]/div/h2/a/text()')
print content
for each in content:
    print each

[pcboyxhy]

把这两行删掉，在Linux下运行一切OK

reload(sys)
sys.setdefaultencoding('gbk')

不要再调用setdefaultencoding了，python3里面取消了这个功能

[k826416971]

我用的是python2.7.10 win8操作系统

[k826416971]

引用 1 楼 pcboyxhy 的回复:

把这两行删掉，在Linux下运行一切OK

reload(sys)
sys.setdefaultencoding('gbk')

不要再调用setdefaultencoding了，python3里面取消了这个功能

我用的是python2.7.10 win8操作系统

[胖胖的飞象]

乱码一般是编码的问题，同前面，setdefault可以去掉，一般网站都是utf-8编码，可以用r.encoding =r.apparentencoding，r.content没用过，建议用r.text，如果还有问题试试setdefault改为utf-8，还有问题的话看看py2编解码的问题，看不懂的话转py3吧大兄弟