请问如何在网页上自动down数据?

三色 2004-11-02 01:02:17
请问如何在网页上自动down数据?
网页上可以通过一些参数设置,然后以excel文件的格式(网页提供的功能)下在很多数据,我想问如何自动下载这些数据,因为如果每次手动下在会很麻烦的。
盼君赐教!
...全文
134 5 打赏 收藏 转发到动态 举报
写回复
用AI写文章
5 条回复
切换为时间正序
请发表友善的回复…
发表回复
zarz 2004-11-04
  • 打赏
  • 举报
回复
gz
xiaonian_3654 2004-11-04
  • 打赏
  • 举报
回复
python\tools\webcheck\wsgui.py
xyzxyz1111 2004-11-03
  • 打赏
  • 举报
回复
首先应该组织一个http request, http request由
request line,如何 GET <url> HTTP/1.1
headers, 这个需要填写合适的
一般http request没有内容。

请求后接到响应,则分析几个结果
status: 如果是200,则正确,否则需要相应的错误处理
content-type: 返回内容的文档类型,如果是excel文件,则为application/vnd.ms-excel
content-length: 返回内容的字节长度
content-encoding: 返回内容的编码方式。一般就是

不知道你需要用什么语言,如果用python就比较简单了。
可以这样

import urllib
f = urllib.urlopen(xlsurl) #xslurl就是需要请求的url
xlsfile = open(xlsfilename, 'wb') # xlsfilename就是需要保存到的文件名
xlsfile.write(f.read())
xlsfile.close()

定期执行就可以了
如果要比较严格的判断 返回正确(status 是200)以及结果内容文档类型是excel那么如下

import httplib
conn = httplib.HTTPConnection(xlshost) #主机地址,如'localhost:8080'
conn.request("GET", xlsrelurl) #xlsurl除去host那一部分,以'/'开始,如'/abc.xls'
r = conn.getresponse()
if r.status == 200 and r.getheader('content-type') == 'application/vnd.ms-excel':
xlsfile = open(xlsfilename, 'wb') # xlsfilename就是需要保存到的文件名
xlsfile.write(r.read())
xlsfile.close()
else:
print r.reason
conn.close()


三色 2004-11-03
  • 打赏
  • 举报
回复
麻烦兄台能否说的详细一点?
是不是要用脚本什么的?如何操作还请详细点,谢谢。
xyzxyz1111 2004-11-02
  • 打赏
  • 举报
回复
下载的时候和Content-Type没有关系
只要赋予request method, request url就可以了
然后把下载的payload保存就可以了。

37,719

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • IT.BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧