爬虫时page_source遇到编码错误

翰璞学生会员 2019-08-28 07:16:34

使用了selenium，网页是58同镇手机网页

报错信息
selenium.common.exceptions.InvalidArgumentException: Message: unexpected end of hex escape at line 1 column 13533

百度无果，试了很多办法没办法，就是pagesource获取源码的时候报错的，下拉页面到一定程度的时候就报错了，或者爬一段时间也是这样。
请问有没有别的能不报错拿到html的方法。或者这个怎么解决。。。

source = self.driver.page_source

...全文

638 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

WPP7 2022-03-11

打赏
举报

回复

天哪，两年后的我也遇到了这个问题，还是搜不出来解决方法

翰璞学生会员 2019-08-29

打赏
举报

回复

顶一下。。。有人知道嘛

信息时代，数据为王，互联网包含了迄今为止最有用的数据集，并且大部分可以免费公开访问，但是由于数据被嵌入在众多网站的结构和样式中导致难以被复用，应运而生出现了网络爬虫，使用程序自动抓取互联网上的资源。本系列课程将带你开发自动化程序实现数据自动采集，针对众多网站防止数据被获取采取防爬虫方案，课程中包含对防爬策略所有解决方法，专治各种爬虫疑难杂症，使你在爬虫方向真正做到“遇鬼杀鬼，遇神杀神，所向披靡”。同时课程还从源码级别深度剖析流行的爬虫框架，研究如何提高爬虫性能和数据抓取效率。

在爬虫的过程中，难免会遇到各种各样的问题。在这里，为大家分享一个关于etree.HTML解析异常的问题。 1.问题描述：爬虫过程中，一般会使用requests.get()方法获取一个网页上的HTML内容，然后通过lxml库中的etree.HTML来解析这个网页的结构，最后通过xpath获取自己所需的内容。本人爬虫的具体代码可简单抽象如下： res = requests.get(url) h...

【爬虫】编码或解码（decode，encode）报异常的处理方式1 经常出现的问题2 解决方法2.1 网页返回的源码decode失败2.2 selinum取page_source出现异常3 估测字节编码3.1 安装chardet3.2 使用案例 1 经常出现的问题网页中的编码明明写着charset=‘utf-8’， urllib.request.urlopen(【url】).read().d...

selenium模块的基本使用简介 selenium最初是一个自动化测试工具，而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题。selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到页面渲染之后的结果，可支持多种浏览器。问题：selenium模块和爬虫之间具有怎样的关联？便捷的获取网站中动态加载的数据便捷实现模拟登录 selenium模块：基于浏览器自动化的一个模块。环境安装下载安装selenium：pip

title: Spider(蜘蛛)笔记 date: 2018-06-30 11:23:30 tags: Spider基础作者:李忠林Github:https://github.com/LeezhonglinGitblog: https://leezhonglin.github.io/ Spider学习笔记前言: 网络爬虫（Web Spider。又被称为网页蜘蛛。网络机器人，又称为网页追逐者）...

37,720

社区成员

34,239

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章