这种点击弹出的小窗口如何爬

kololo911 2019-08-13 11:22:41

本人刚学python，像这种点击弹出的小窗口的数据应该怎么爬呢？

...全文

112 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

小羽Jary 2019-08-13

打赏
举报

回复

一般这些数据都是异步传输过来的，去控制台network里面找xhr文件应该能找到

考古学家lx(李玺) 2019-08-13

打赏
举报

回复

找api阿，点触的时候，控制台里面会多出来请求的

Spring4GWT GWT Spring 使得在 Spring 框架下构造 GWT 应用变得很简单，提供一个易于理解的依赖注入和RPC机制。 Java扫雷游戏 JVMine JVMine用Applets开发的扫雷游戏，可在线玩。 public class JVMine extends java.applet.Applet 简单实现！~ 网页表格组件 GWT Advanced Table GWT Advanced Table 是一个基于 GWT 框架的网页表格组件，可实现分页数据显示、数据排序和过滤等功能！ Google Tag Library 该标记库和 Google 有关。使用该标记库，利用 Google 为你的网站提供网站查询，并且可以直接在你的网页里面显示搜查的结果。 github-java-api github-java-api 是 Github 网站 API 的 Java 语言版本。 java缓存工具 SimpleCache SimpleCache 是一个简单易用的java缓存工具，用来简化缓存代码的编写，让你摆脱单调乏味的重复工作！1. 完全透明的缓存支持，对业务代码零侵入 2. 支持使用Redis和Memcached作为后端缓存。3. 支持缓存数据分区规则的定义 4. 使用redis作缓存时，支持list类型的高级数据结构，更适合论坛帖子列表这种类型的数据 5. 支持混合使用redis缓存和memcached缓存。可以将列表数据缓存到redis中，其他kv结构数据继续缓存到memcached 6. 支持redis的主从集群，可以做读写分离。缓存读取自redis的slave节点，写入到redis的master节点。 Java对象的SQL接口 JoSQL JoSQL(SQLforJavaObjects)为Java开发者提供运用SQL语句来操作Java对象集的能力.利用JoSQL可以像操作数据库中的数据一样对任何Java对象集进行查询,排序,分组。搜索自动提示 Autotips AutoTips是为解决应用系统对于【自动提示】的需要(如：Google搜索), 而开发的架构无关的公共控件, 以满足该类需求可以通过快速配置来开发。AutoTips基于搜索引擎Apache Lucene实现。AutoTips提供统一UI。 WAP浏览器 j2wap j2wap 是一个基于Java的WAP浏览器，目前处于BETA测试阶段。它支持WAP 1.2规范，除了WTLS 和WBMP。 Java注册表操作类 jared jared是一个用来操作Windows注册表的 Java 类库，你可以用来对注册表信息进行读写。 GIF动画制作工具 GiftedMotion GiftedMotion是一个很小的，免费而且易于使用图像互换格式动画是能够设计一个有趣的动画了一系列的数字图像。使用简便和直截了当，用户只需要加载的图片和调整帧您想要的，如位置，时间显示和处理方法前帧。 Java的PList类库 Blister Blister是一个用于操作苹果二进制PList文件格式的Java开源类库（可用于发送数据给iOS应用程序）。重复文件检查工具 FindDup.tar FindDup 是一个简单易用的工具，用来检查计算机上重复的文件。 OpenID的Java客户端 JOpenID JOpenID是一个轻量级的OpenID 2.0 Java客户端，仅50KB+（含源代码），允许任何Web网站通过OpenID支持用户直接登录而无需注册，例如Google Account或Yahoo Account。 JActor的文件持久化组件 JFile JFile 是 JActor 的文件持久化组件，以及一个高吞吐量的可靠事务日志组件。 Google地图JSP标签库利用Google:maps JSP标签库就能够在你的Web站点上实现GoogleMaps的所有功能而且不需要javascript或AJAX编程。它还能够与JSTL相结合生成数据库驱动的动态Maps。 OAuth 实现框架 Agorava Agorava 是一个实现了 OAuth 1.0a 和 OAuth 2.0 的框架，提供了简单的方式通过社交媒体进行身份认证的功能。 Eclipse的JavaScript插件 JSEditor JSEditor 是 Eclipse 下编辑 JavaScript 源码的插件，提供语法高亮以及一些通用的面向对象方法。 Java数据库连接池 BoneCP BoneCP 是一个高性能的开源java数据库连接池实现库。它的设计初衷就是为了提高数据库连接池的性能，根据某些测试数据发现，BoneCP是最快的连接池。BoneCP很小，只有四十几K

此文仅当学习笔记用. 这个实例是在Python环境下如何爬取弹出窗口的内容,有些时候我们要在页面中通过点击,然后在弹出窗口中才有我们要的信息,所以平常用的方法也许不行. 这里我用到的是Selenium这个工具,不知道的朋友可以去搜索一下. 但是安装也是很费事的. 而且我用的浏览器是firefox,不用IE是因为好像新版的IE在Selenium下有问题,我也是百思不得其解,网上也暂时没找到好的办...

此文仅当学习笔记用.这个实例是在Python环境下如何爬取弹出窗口的内容,有些时候我们要在页面中通过点击,然后在弹出窗口中才有我们要的信息,所以平常用的方法也许不行.这里我用到的是Selenium这个工具, 不知道的朋友可以去搜索一下. 但是安装也是很费事的. 而且我用的浏览器是firefox,不用IE是因为好像新版的IE在Selenium下有问题,我也是百思不得其解, 网上也暂时没找到好的办法....

我们在做爬虫的时候，会遇到一些商业网站对爬虫程序限制较多，在数据采集的过程中对爬虫请求进行了多种验证，导致爬虫程序需要深入分析目标网站的反爬策略，定期更新和维护爬虫程序，增加了研发的时间和投入成本。这种情况下，使用无头浏览器例如 Selenium，模拟用户的请求进行数据采集是更加方便快捷的方式。要注意必须保证 plugin_path参数下的文件存放目录是存在的，同时程序拥有该目录的读写权限，否则浏览器会出现代理认证信息读取失败的情况，就会强制弹出认证窗口，要求输入代理用户名和密码，出现程序运行中断的情况。

1、问题情景使用selenium + python爬取csdn博客，其中一个步骤为点击博客详情页面的各级目录的链接，但是当鼠标点击目录链接时，页面会弹出一个登录窗口，要求登录。如果是真实用户访问的页面，用户只需要在弹窗外面的任意灰色区域点击一下，就可以关掉这个弹窗；但是使用selenium控制的鼠标去定位点相关元素或者点击时，则会报错，因为元素可以被定位，但是无法被点击。以博客https://blog.csdn.net/spring292713/article/details/139..

37,742

社区成员

34,212

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章