【python】用selenium怎么抓取页面上仅出现短暂几秒的元素(或者有其他方法)

ERROR_NAME 2017-08-12 04:27:40

例如登录一个页面，密码输入错误，点击提交按钮后页面上出现一个短暂的仅有两秒提示语，在审核元素中该提示语的<div>代码两秒后一闪而过，不知道该如何抓取…

gif图播放速度快了点…实际上存活了大概1~2秒

...全文

1038 5 打赏收藏转发到动态举报

写回复

5 条回复

切换为时间正序

请发表友善的回复…

发表回复

Jerelli 2019-11-29

打赏
举报

回复

参照该贴，亲测可行 https://blog.csdn.net/weijiaxin2010/article/details/89097607

weixin_42781019 2019-04-10

打赏
举报

回复

找到方法了吗

杂技猫 2017-09-04

打赏
举报

回复

直接wait 这个元素就好了

「已注销」 2017-08-13

打赏
举报

回复

下一个fiddler

ERROR_NAME 2017-08-12

打赏
举报

回复

自己用个循环抓到了…不知道有没有更好的方法

本文介绍了如何使用Selenium无头浏览器进行网页抓取。主要内容包括：1) 环境配置，需安装Python3、Selenium和对应浏览器驱动；2) 基本操作示范，如页面导航、元素定位和交互；3) 处理动态内容的方法，包括等待加载和无限滚动；4) 实用功能如截图、窗口大小调整；5) 反检测技巧，包括修改请求头、使用代理和资源拦截。文章还提到SeleniumWire扩展工具可增强请求拦截和修改能力，并展示了如何执行JavaScript代码。最后强调大规模抓取时需注意反爬措施。

文本出来后复制整个HTML，获取一闪而过的元素定位

有些页面为了性能的考虑，页面下方不在当前屏幕中的元素是不会加载的，只有当页面向下滚动时才会继续加载。在我们找不到元素，或者跟元素无法交互时，应该多去根据当前的情况，灵活选择显式等待的判断方式。网上查到的一些滚动方式在Chrome上无效。这时候应该设置好分辨率，使当前元素能够显示到页面中。方法可以在等待到当前元素可见后，才获取元素。中不支持这种用法，只能在找到节点后，使用。有时候因为一些弹出元素的原因，如果还使用。通常在我们使用xpath时，可以使用。这类的方法，只能获取元素节点。同样不支持Xpath中的。

我正在学习制作网络抓取工具,并希望抓住TripAdvisor的个人项目,使用urllib2抓取html.但是,我遇到了一个问题,使用下面的代码,我回来的html是不正确的,因为页面似乎需要一秒钟重定向(你可以通过访问网址验证这一点) – 而是我得到的代码从最初短暂出现的页面.是否有一些行为或参数要设置以确保页面在获取网站内容之前已完全加载/重定向？import urllib2from bs4 im...

环境：Selenium3.9.1+ java1.8 +chromedriver.exe

37,743

社区成员

34,212

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章