python selenium获取网页中多表格数据，且有些表格不止一页

qq_34621405 2017-09-11 03:10:53

网站长这个样子，需要获取这个网站上某些公司的详情数据，每个公司详情页不止一个表格，且表格页数有些不止一页，自己打算通过selenium 的webdriver模拟点击下一页来得到所有页的表格。但是下一页不好定位，随着页面跳转，下一页“>”的XPath位置会有变化，请求大神支招？或者有其他更简易的方式获得多页表格，技术新手，麻烦大神能仔细讲解下

这个网站需要登陆，我的用户名 = '15160773967' 密码= 'yy171827'

...全文

1787 2 打赏收藏转发到动态举报

写回复

用AI写文章

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

亦难亦安 2019-12-02

打赏
举报

有的表格跳转不会跟随着URL变化

张强1990 2017-09-11

打赏
举报

https://www.tianyancha.com/search/p1?key=阿里巴巴

https://www.tianyancha.com/search/p2?key=阿里巴巴

p1就是第一页，p2就是第二页 key=跟着关键词

背景原是弱电集成的设计员，纠结很久后参加了python培训机构转职后的一员小白，由于一次工作中需要翻译一份近100页word表格，纯手工翻译大概三个小时，为了解决这种重复又耗时的劳动，并重温python相关知识所以制作了该小程序。脚本详情 import re import docx import time import pandas as pd from selenium import webdriver from selenium.webdriver.chrome.options import Options # 导入chrome选项 from selenium.webdriver.c

背景原是弱电集成的设计员，纠结很久后参加了python培训机构转职后的一员小白，由于一次工作中需要翻译一份近100页word表格，纯手工翻译大概三个小时，为了解决这种重复又耗时的劳动，并重温python 相关知识所以制作了该小程序。脚本详情 import re import docx import time import pandas as pd from selenium import webdriver from selenium.webdriver.chrome.options import Options # 导入chrome选项 from selenium.webdriver.

我今天主要概括一下对于Web自动化测试而言，现在最火的一个工具----Selenium的学习思路。　　1.首先，对于想学自动化测试的朋友，那么你得懂一种语言，常用的比如Java或者Python。因为没有语言基础，你是写不出自动化脚本的。　　2.有了开发语言的铺垫，那么开始入手Selenium。了解它的发展，了解它的组成，了解它的实现原理。　　3.当你对Selenium有了整体的了解后，可以开始学习了。实际上，我现在说的Selenium就是Selenium2。　　4.（第一层次）首先你得知道：什么是元素?怎么去定位一个页面元素？怎么去控制元素？怎么控制浏览器？.....学完这些，那么恭喜你，你可以写简单页面的自动化功能测试了。　　5.（第二层次）熟练的编写页面自动化脚本：碰到复杂的页面，比如嵌套很多，知道怎么去跳转。复杂元素，怎么去定位，各种页面元素的处理，比如表格、下拉框、弹出框等等。　　6.（第三层次）熟练掌握上面技巧之后，开始学习怎么将页面元素与代码分离，学习数据驱动（TestNG），以及怎么样结合Excel去做自动化测试。　　7.（第四层次）学习持续集成的方法，怎么样将自动化测试更加“自动化”。同时，开始学习自动化测试框架，能够根据产品的实际情况来编写合适的测试框架。　　以上，我认为大体就是学习web自动化测试的一个思路。都是个人观点，而且由于时间原因，写的不是很详细，还请大家见谅。

GAUnit GAUnit是用于Google Analytics（分析）实施测试的Python库。它旨在在各种环境（例如传统网站或单页应用程序）的管道中使用。 GAUnit与兼容。特征自动化对Google Analytics（分析）实施的测试使用Python字典，JSON文件或Google表格编写跟踪计划根据跟踪计划检查HAR文件从HAR文件中提取GA事件使用Python或命令行安装您将需要安装。使用点数： pip install gaunit 用法假设您的产品页面上有一个新的视频播放器，并且您要检查当用户单击“播放”时是否发送了正确的Google Analytics（分析）事件： expected_events = [ { "t" : "pageview" , "dp" : "my_product_page_na

谷歌师兄的leetcode刷题笔记魔术公式刮刀用于使用、和抓取数据并将其附加到 Google 表格的 Python 脚本。我和我的兄弟通过遵循乔尔格林布拉特的魔术公式进行投资。上面的站点使用此公式并输出符合公式标准的前 X 家公司。但是，该网站不允许用户直接从网页上复制这些公司的信息。手动输入 30 多家公司的名称及其信息很费时间，所以我创建了这个脚本来抓取这些信息。示例 GIF 这是使用无头版本的 Google Chrome 浏览器运行的脚本，一个没有 GUI。它也在使用我的凭据运行，因此程序和用户之间没有交互。特征打开chrome浏览器到神奇公式登录页面，然后使用selenium的Keys和getpass库输入登录信息登录后，选择要查看的股票数量并点击相应按钮显示它们抓取有关上市公司的信息，写入名为“companys.csv”的 csv 文件使用 Google Sheets API 和 gspread 将数据附加到电子表格可选：可以变成cronjob，说明如下主循环这是将数据写入 csv 文件并添加到 Google 工作表的位置 # find a

脚本语言

37,720

社区成员

34,239

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章