【提问】python解析网页源代码返回乱码问题

Harry_hoo 2013-10-15 07:47:19

代码

输出

直接print中文是可以的，注释的中文也不会乱码，就解析网页乱码
求有用解决方案！！

...全文

1496 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

CDSoftwareWj 2013-10-18

打赏
举报

回复

.read().decode('gbk').encode('utf-8')

crifan 2013-10-18

打赏
举报

回复

帮你分析了字符串问题表象背后的原因并给出了3种解决方案但是又推测出你问题背后的条件，没给全，然后又帮你分析是二进制乱码的原因且也给出了解决办法并且给出了，相关涉及到的各种知识，多对应的我所写的教程需要的自己看吧：【问题解答】python解析网页源代码返回乱码问题

jeky_zhang2013 2013-10-16

打赏
举报

回复

以前有个帖子也将到抓取编码的问题，可以参考下 http://bbs.csdn.net/topics/390564445

iasky 2013-10-16

打赏
举报

回复

1、你的内容直接 .encode('utf8')看看，换成你的编码格式 2、页面返回值是压缩的，gzip

【问题】代码：输出：直接print中文是可以的，注释的中文也不会乱码，就解析网页乱码求有用解决方案！！【问题解答】从问题现象到问题本质，一点点帮你分析为何如何，以及如何解决问题1.首先，根据之前的Python的IDE的经验：从上述截图，基本上，可以推测出来，其用的是：2.所以，为了完全重现其问题，专门去PyDev中建立了对应的项目。代码为：# -*- coding: utf-8 -*-'''Cre...

当网页源代码中使用的编码方式与BeautifulSoup默认的编码方式不同，就会导致字符解析错误，从而出现字符丢失的情况。综上所述，通过指定正确的编码方式或自动检测编码方式，我们可以解决使用BeautifulSoup解析网页源代码时出现字符丢失的问题。这样，我们就能够准确地提取和处理网页中的数据，实现更有效的网页爬取任务。需要注意的是，如果以上方法仍然无法解决字符丢失的问题，可能是由于其他原因导致的。通过上述方法，我们可以根据网页的实际编码方式来正确解析网页源代码，避免出现字符丢失的问题。

爬虫出现乱码

本篇文章给大家带来的内容是关于Python抓取网页乱码的原因及解决方法，有一定的参考价值，有需要的朋友可以参考一下，希望对你有所帮助。在用 python2 抓取网页的时候，经常会遇到抓下来的内容显示出来是乱码。发生这种情况的最大可能性就是编码问题：运行环境的字符编码和网页的字符编码不一致。比如，在 windows 的控制台（gbk）里抓取了一个 utf-8 编码的网站。或者，在 Mac / Li...

在上述示例中，我们使用chardet.detect()函数检测网页的编码方式，并将其存储在encoding变量中。然后，我们使用response.content.decode()方法将网页内容从检测到的编码方式转换为UTF-8，并将其存储在text变量中。然后，我们使用BeautifulSoup解析网页时，将’html.parser’作为解析器，并将response.text作为输入。根据具体情况，选择适合的方法来解决中文乱码问题，以确保正确解析网页中的中文内容。如果你还有其他问题，请随时提问。

37,719

社区成员

34,239

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章