3.7w+
社区成员
- 全部
- 互动交流
- 文章分享
请问如何在网页上自动down数据？
请问如何在网页上自动down数据？
网页上可以通过一些参数设置，然后以excel文件的格式（网页提供的功能）下在很多数据，我想问如何自动下载这些数据，因为如果每次手动下在会很麻烦的。
盼君赐教！
网页上可以通过一些参数设置，然后以excel文件的格式（网页提供的功能）下在很多数据，我想问如何自动下载这些数据，因为如果每次手动下在会很麻烦的。
盼君赐教！
...全文
当前发帖距今超过3年，不再开放新的回复
发表回复
zarz 2004-11-04
gz
xiaonian_3654 2004-11-04
python\tools\webcheck\wsgui.py
xyzxyz1111 2004-11-03
首先应该组织一个http request, http request由
request line,如何 GET <url> HTTP/1.1
headers， 这个需要填写合适的
一般http request没有内容。
请求后接到响应，则分析几个结果
status: 如果是200，则正确，否则需要相应的错误处理
content-type: 返回内容的文档类型，如果是excel文件，则为application/vnd.ms-excel
content-length: 返回内容的字节长度
content-encoding: 返回内容的编码方式。一般就是
不知道你需要用什么语言,如果用python就比较简单了。
可以这样
import urllib
f = urllib.urlopen(xlsurl) #xslurl就是需要请求的url
xlsfile = open(xlsfilename, 'wb') # xlsfilename就是需要保存到的文件名
xlsfile.write(f.read())
xlsfile.close()
定期执行就可以了
如果要比较严格的判断 返回正确（status 是200）以及结果内容文档类型是excel那么如下
import httplib
conn = httplib.HTTPConnection(xlshost) #主机地址，如'localhost:8080'
conn.request("GET", xlsrelurl) #xlsurl除去host那一部分，以'/'开始，如'/abc.xls'
r = conn.getresponse()
if r.status == 200 and r.getheader('content-type') == 'application/vnd.ms-excel':
xlsfile = open(xlsfilename, 'wb') # xlsfilename就是需要保存到的文件名
xlsfile.write(r.read())
xlsfile.close()
else:
print r.reason
conn.close()
request line,如何 GET <url> HTTP/1.1
headers， 这个需要填写合适的
一般http request没有内容。
请求后接到响应，则分析几个结果
status: 如果是200，则正确，否则需要相应的错误处理
content-type: 返回内容的文档类型，如果是excel文件，则为application/vnd.ms-excel
content-length: 返回内容的字节长度
content-encoding: 返回内容的编码方式。一般就是
不知道你需要用什么语言,如果用python就比较简单了。
可以这样
import urllib
f = urllib.urlopen(xlsurl) #xslurl就是需要请求的url
xlsfile = open(xlsfilename, 'wb') # xlsfilename就是需要保存到的文件名
xlsfile.write(f.read())
xlsfile.close()
定期执行就可以了
如果要比较严格的判断 返回正确（status 是200）以及结果内容文档类型是excel那么如下
import httplib
conn = httplib.HTTPConnection(xlshost) #主机地址，如'localhost:8080'
conn.request("GET", xlsrelurl) #xlsurl除去host那一部分，以'/'开始，如'/abc.xls'
r = conn.getresponse()
if r.status == 200 and r.getheader('content-type') == 'application/vnd.ms-excel':
xlsfile = open(xlsfilename, 'wb') # xlsfilename就是需要保存到的文件名
xlsfile.write(r.read())
xlsfile.close()
else:
print r.reason
conn.close()
三色 2004-11-03
麻烦兄台能否说的详细一点？
是不是要用脚本什么的？如何操作还请详细点，谢谢。
是不是要用脚本什么的？如何操作还请详细点，谢谢。
xyzxyz1111 2004-11-02
下载的时候和Content-Type没有关系
只要赋予request method, request url就可以了
然后把下载的payload保存就可以了。
只要赋予request method, request url就可以了
然后把下载的payload保存就可以了。
请问如何在网页上自动down数据？ 请问如何在网页上自动down数据？ 网页上可以通过一些参数设置，然后以excel文件的格式（网页提供的功能）下在很多数据，我想问如何自动下载这些数据，因为如果每次手动下在会很麻烦的。 盼均赐教！
《Python程序设计与算法基础教程（第二版）》江红 余青松 全部章节的课后习题，上机实践，课后答案，案例... 1. 这本书对Python的知识点的描述很详细，而且排版看的很舒服. 2. 几个例题：假装自己从零开始学，将一些有代表性、有意思的例题抽取出来. 3. 还有自己对一部分课后复习题，全部课后上机实践题的解题思路
入门学习Linux常用必会60个命令实例详解doc/txt 文件为doc版，可自行转成txt，在手机上看挺好的。 本资源来自网络，如有纰漏还请告知，如觉得还不错，请留言告知后来人，谢谢！！！！！ 入门学习Linux常用必会60个命令实例详解 Linux必学的60个命令 Linux提供...
【知识图谱】知识图谱的基础概念与构建流程 目录 1、引言 2、知识图谱的定义 3、知识图谱的架构 3.1知识图谱的逻辑结构 3.2知识图谱的体系架构 ...【导读】知识图谱技术是人工智能技术的组成部分，其强大的语义处理和互联组织能力，为智能化信息应用提供了...
excel数据全自动填写到网页表单中（使用uibot creator） 能够实现自动化录数据。 一、下载uibot https://www.uibot.com.cn/down进入下载uibot creator。 二、注册登录 三、打开经典范例，点击圈图部分打开该流程。 四、 点击“读取Excel数据”编辑按钮 ...
C#基础教程-c#实例教程，适合初学者 C#基础教程-c#实例教程，适合初学者。 第一章 C#语言基础 本章介绍C#语言的基础知识，希望具有C语言的读者能够基本掌握C#语言，并以此为基础，能够进一步学习用C#语言编写window应用程序和Web应用程序。...
面试专题：Linux运维精华面试题 下面是一名资深Linux运维求职数十家...在他运转的过程中，对他进行维护，他集合了网络、系统、数据库、开发、安全、监控于一身的技术 运维又包括很多种，有DBA运维、网站运维、虚拟化运维、监控运维、游戏运维等等 2...
Python爬虫——来自新人的叹息 Python爬虫——来自新人的叹息（从开始到停不下来的python爬虫）从零开始的数据获取生活先发一个大致的框架 后续更新敬请期待 从零开始的数据获取生活 这是一个（不止一个）来自在校大学生的python爬虫项目，项目...
Tomcat面试题+http面试题+Nginx面试题+常见面试题 Tomcat面试题 1、Tomcat的缺省端口是多少？怎么修改？ 答：缺省端口是8080，若要修改，可以进入Tomcat的安装目录下找到conf目录下的...修改它的运行模式需要在主配置文件中找到connector字段中的protocol进行修改...
html网页内容自动滚动实现跑马灯效果 超出div高度，文本自动滚动（像跑马灯一样从下往上滚动） 一个div里面有文字 1、如果文字没超出div高度：文字不用滚动 2、如果文字太多超出了div高度，那些文字就自动滚动 ps:滚动的效果就像我这个设置一样 <...
Python+Selenium——自动填写网页表格程序 这是一个用来更新公园信息的数据管理系统，而截图这个页面主要是用来更新site信息的，幸运的是这个页面的每个元素都可以用ID来定位。其中包含三种形式的信息：文本框，下拉列表和复选框。我的实现思路是把ID对应定位...
Linux运维面试题 Linux运维跳槽必备的40道面试精华题(转) 下面是一名资深Linux运维求职数十家公司...在他运转的过程中，对他进行维护，他集合了网络、系统、数据库、开发、安全、监控于一身的技术 运维又包括很多种，有DBA运维、网站...
网页数据抓取工具 （谷歌插件 web Scraper） 最简单的数据抓取教程，人人都用得上 Web Scraper 是一款免费的，适用于普通用户（不需要专业 IT 技术的）的爬虫工具，可以方便的通过鼠标和简单配置获取你所想要数据。例如知乎回答列表、微博热门、微博评论、...
网页数据抓取工具，webscraper 最简单的数据抓取教程，人人都用得上 Web Scraper 是一款免费的，适用于普通用户（不需要专业 IT 技术的）的爬虫工具，可以方便的通过鼠标和简单配置获取你所想要数据。例如知乎回答列表、微博热门、微博评论、淘宝、天猫、亚马逊等电商网站商品信息、...
网页表单下拉列表框、单选框、复选框自动填写方法 我们用网页自动操作通用工具实现。 下面我们来讲讲实现步骤。首先，打开网页自动操作通用工具，在网页自动提交监控操作对话框，点击添加，把下拉表单网址输入进去，点击自动获取，然后点击确定按钮添加网址。 ...
46 WebGL网页上显示三维物体 案例查看地址：点击这里想要把三维物体显示到网页上面，很简单，只要会css，懂得盒子模型，定位，就可以在网页上面随意放置模型，控制canvas位置就可以。这次的案例直接body添加了一个背景，然后看到的效果就是这样...
Appium + mitmproxy 全自动化抓取APP 数据 发现只有少数 APP 网络请求参数未做签名处理，像这类的能直接分析 url 和 param，利用 python 全自动化获取数据，但是大部分比如网易新闻这类 APP 安全级别较高，参数做了加密或者签名校验，服务端也有同一签名的...
Python3+Selenium爬取动态网页数据 背景： 有时候想获取网页的信息，然后下载里面的图片资料等等 遇到的问题： 有时一些网页是动态的，一些...它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流界面式浏览器，如果你在这些浏览器里面安装一个 ...
Python抓取网页动态数据——selenium webdriver的使用 当我们使用Python爬取网页数据时，往往用的是urllib模块，通过调用urllib模块的urlopen(url)方法返回网页对象，并使用read()方法获得url的html内容，然后使用BeautifulSoup抓取某个标签内容，结合正则表达式过滤。...
熊猫烧香病毒源码及分析 今天在OSC看到有人共享熊猫烧香的源码，用Delphi写的，真的是跨平台啊，犹对Japanese操作系统破坏最甚，字里行间留露出作者的愤青情绪啊，大体的看了下，主要是通过拷贝到Windows系统目录中，注册表添加自启动的蠕虫...
唯品会魔方罗盘数据全自动爬虫 先描述下我的故事背景吧哈哈,公司唯品会运营需要登录wph供应商平台,去到后台的魔方罗盘获取我们公司旗下品牌每日的销售报表,但是唯品会这屌毛只提供昨日销售数据和当日实时销售数据,并不提供历史销售数据查询,登录...
实用干货：7个实例教你从PDF、Word和网页中提取数据 导读：本文的目标是介绍一些Python库，帮助你从类似于PDF和Word DOCX 这样的二进制文件中提取数据。我们也将了解和学习如何从网络信息源（web feeds）（如RSS）中获取数据，以及利用一个库帮助解析HTML文本并从文档...
在网易云音乐网页版上加下载按键进行下载歌曲 源由 原理 代码解决 思路 Ajax 请求函数 获取 id 和歌名 ...利用 a 标签 利用 audio 标签 ...每一次放假回家的时候，都会帮家里面的人下载歌曲，当然差不多用的都是网易云音乐网页版，但是只有客户端才提供下...
NLP+VS︱深度学习数据集标注工具、图像语料数据库、实验室搜索ing... ~~因为不太会使用opencv、matlab工具，所以在找一些比较简单的工具。 . . 一、NLP标注工具 来源：《构想：中文文本标注工具（附开源文本标注工具列表）》 Chinese-Annotator 来源：...
用Python自动化爬取CNKI知网数据（批量下载PDF论文） CNKI知网论文自动爬取下载 手动下载CNKI知网论文，是一个重复性的...要有一定的爬虫基础，如果不能运行，就可能是知网进行了网页更新（一种反爬技术），修改 网页定位 废话不多说，直接上代码 源代码代码展示： import
