• 全部
  • 互动交流
  • 文章分享

请问如何在网页上自动down数据?

三色 2004-11-02 01:02:17
请问如何在网页上自动down数据?
网页上可以通过一些参数设置,然后以excel文件的格式(网页提供的功能)下在很多数据,我想问如何自动下载这些数据,因为如果每次手动下在会很麻烦的。
盼君赐教!
...全文
94 点赞 收藏 5
写回复
5 条回复
切换为时间正序
当前发帖距今超过3年,不再开放新的回复
发表回复
zarz 2004-11-04
gz
回复
xiaonian_3654 2004-11-04
python\tools\webcheck\wsgui.py
回复
xyzxyz1111 2004-11-03
首先应该组织一个http request, http request由
request line,如何 GET <url> HTTP/1.1
headers, 这个需要填写合适的
一般http request没有内容。

请求后接到响应,则分析几个结果
status: 如果是200,则正确,否则需要相应的错误处理
content-type: 返回内容的文档类型,如果是excel文件,则为application/vnd.ms-excel
content-length: 返回内容的字节长度
content-encoding: 返回内容的编码方式。一般就是

不知道你需要用什么语言,如果用python就比较简单了。
可以这样

import urllib
f = urllib.urlopen(xlsurl) #xslurl就是需要请求的url
xlsfile = open(xlsfilename, 'wb') # xlsfilename就是需要保存到的文件名
xlsfile.write(f.read())
xlsfile.close()

定期执行就可以了
如果要比较严格的判断 返回正确(status 是200)以及结果内容文档类型是excel那么如下

import httplib
conn = httplib.HTTPConnection(xlshost) #主机地址,如'localhost:8080'
conn.request("GET", xlsrelurl) #xlsurl除去host那一部分,以'/'开始,如'/abc.xls'
r = conn.getresponse()
if r.status == 200 and r.getheader('content-type') == 'application/vnd.ms-excel':
xlsfile = open(xlsfilename, 'wb') # xlsfilename就是需要保存到的文件名
xlsfile.write(r.read())
xlsfile.close()
else:
print r.reason
conn.close()


回复
三色 2004-11-03
麻烦兄台能否说的详细一点?
是不是要用脚本什么的?如何操作还请详细点,谢谢。
回复
xyzxyz1111 2004-11-02
下载的时候和Content-Type没有关系
只要赋予request method, request url就可以了
然后把下载的payload保存就可以了。
回复
相关推荐
发帖
脚本语言
创建于2007-08-27

3.7w+

社区成员

JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
申请成为版主
帖子事件
创建了帖子
2004-11-02 01:02
社区公告

CSDN 脚本语言社区接受专栏投稿(专栏会在顶部创建专属你的栏目),投稿需满足以下要求:

  • 脚本语言技术相关;
  • 文章持续更新,保持活跃;
  • 内容清晰明了,干货为主;
  • 文章排版有序,有条有理。

本社区开通招聘专栏,发布招聘信息请联系版主,发布者需要保证招聘信息真实有效,CSDN 平台和版主不对招聘内容负责!

联系方式:私聊版主、发送邮件、QQ联系等均可: