这种点击弹出的小窗口如何爬

kololo911 2019-08-13 11:22:41

本人刚学python，像这种点击弹出的小窗口的数据应该怎么爬呢？

...全文

116 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

小羽Jary 2019-08-13

打赏
举报

回复

一般这些数据都是异步传输过来的，去控制台network里面找xhr文件应该能找到

考古学家lx(李玺) 2019-08-13

打赏
举报

回复

找api阿，点触的时候，控制台里面会多出来请求的

此文仅当学习笔记用. 这个实例是在Python环境下如何爬取弹出窗口的内容,有些时候我们要在页面中通过点击,然后在弹出窗口中才有我们要的信息,所以平常用的方法也许不行. 这里我用到的是Selenium这个工具,不知道的朋友可以去搜索一下. 但是安装也是很费事的. 而且我用的浏览器是firefox,不用IE是因为好像新版的IE在Selenium下有问题,我也是百思不得其解,网上也暂时没找到好的办...

此文仅当学习笔记用.这个实例是在Python环境下如何爬取弹出窗口的内容,有些时候我们要在页面中通过点击,然后在弹出窗口中才有我们要的信息,所以平常用的方法也许不行.这里我用到的是Selenium这个工具, 不知道的朋友可以去搜索一下. 但是安装也是很费事的. 而且我用的浏览器是firefox,不用IE是因为好像新版的IE在Selenium下有问题,我也是百思不得其解, 网上也暂时没找到好的办法....

在现代Web应用开发中，用户体验的优化始终是核心目标之一。一种常见且高效的交互模式是：当用户在数据列表中点击某个字段链接时，在当前页面弹出一个模态窗口显示该条目的详细信息，而无需跳转或刷新整个页面。这种设计不仅提升了操作流畅性，也减少了服务器负载和网络延迟带来的影响。本章将从整体视角出发，阐述此类交互功能的设计原理、适用场景及其在前后端协作中的定位。我们将重点分析其背后的用户行为逻辑——即“聚焦式信息获取”机制，并探讨为何采用内联弹窗而非页面跳转能有效提升可用性。

我们在做爬虫的时候，会遇到一些商业网站对爬虫程序限制较多，在数据采集的过程中对爬虫请求进行了多种验证，导致爬虫程序需要深入分析目标网站的反爬策略，定期更新和维护爬虫程序，增加了研发的时间和投入成本。这种情况下，使用无头浏览器例如 Selenium，模拟用户的请求进行数据采集是更加方便快捷的方式。要注意必须保证 plugin_path参数下的文件存放目录是存在的，同时程序拥有该目录的读写权限，否则浏览器会出现代理认证信息读取失败的情况，就会强制弹出认证窗口，要求输入代理用户名和密码，出现程序运行中断的情况。

接下来我们尝试通过第一种解决方案遍历找到预期窗口再进行切换来获取，具体的代码实现逻辑为在执行点击某款产品前获取窗口句柄，然后定位某款产品元素并调用点击方法，然后调用getWindowHandles()方法获取当前所有打开窗口的句柄集合，也就是商品列表页以及商品详情页的句柄集合，接下来要做的就是遍历句柄集合中的元素，遍历的过程中判断当前这个句柄是否和点击操作前的句柄相同，如果不相同则切换到这个句柄对应的窗口，那么读者可能会问，切换窗口的方法是哪个？遍历过程中先切换窗口再判断预期窗口、多个条件判断预期窗口。

37,744

社区成员

34,213

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章