37,743
社区成员
发帖
与我相关
我的任务
分享python使用xpath抓取中文时出现乱码问题
# -*- coding:utf-8 -*-
from lxml import etree
# import sys
# reload(sys)
# sys.setdefaultencoding('utf-8')//按照网上的方法添加这三行代码不能解决乱码问题
html = '''
<!DOCTYPE html>
<html>
<head></head>
<body>
<div>
<ul id='useful'>
<li>第一条</li>
<li>第二条</li>
<li>第三条</li>
</ul>
<div>
<a href="www.baidu.com">百度</a>
</div>
</div>
</body>
</html>
'''
# print html //在此处输出html中文能够正常显示
selector = etree.HTML(html)
# 提取文本
content = selector.xpath('//ul[@id="useful"]/li/text()') //此处开始出现乱码
for each in content:
print each
输出结果为
第ä¸æ¡
第äºæ¡
第ä¸æ¡
求大侠支招！！
from lxml import etree
# import sys
# reload(sys)
# sys.setdefaultencoding('utf-8')//按照网上的方法添加这三行代码不能解决乱码问题
html = '''
<!DOCTYPE html>
<html>
<head></head>
<body>
<div>
<ul id='useful'>
<li>第一条</li>
<li>第二条</li>
<li>第三条</li>
</ul>
<div>
<a href="www.baidu.com">百度</a>
</div>
</div>
</body>
</html>
'''
# print html //在此处输出html中文能够正常显示
selector = etree.HTML(html)
# 提取文本
content = selector.xpath('//ul[@id="useful"]/li/text()') //此处开始出现乱码
for each in content:
print each
输出结果为
第ä¸æ¡
第äºæ¡
第ä¸æ¡
求大侠支招！！
...全文
请发表友善的回复…
发表回复
Candy链上笔记 2016-10-24
- 打赏
- 举报
谢谢
qq_22035835 2016-03-06
- 打赏
- 举报
多谢~！按照你说的做，果然成功了
panghuhu250 2016-02-19
- 打赏
- 举报
html = u'''
<!DOCTYPE html>
<html>
...
人傻且呆但不萌 2016-02-19
- 打赏
- 举报
统一使用unicode可以省不少的事儿，你先看编码的类型，然后在解码 。
