请问python wget如何检查下载文件的完整性

weixin_38060626 2019-03-04 08:44:12

开发四年只会写业务代码，分布式高并发都不会还做程序员？->>>

在python里使用wget批量下载。
但有时，总会少下几个。
如果几十个，可能会少下3-5个。
下得越多，可能缺得越多。

感觉可能是下载失败。
所以想问问，wget怎么检查文件的完整性。
失败了好让它重下

...全文

87 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

wget是linux/unix下通常使用的下载http/ftp的数据，使用非常方便，其实wget目前经过编译，也可在windows下使用。最近需要下载大量的遥感数据，使用了python写了批处理下载程序，使用的是urllib的urlretrieve进行下载，数据下载还可以，但是界面交互性不好看。就根据自己在linux下载数据进行了改进。1. wget在windows下的安装：从网站下载wget f...

确认图片是否完整 pip install Pillow # 功能：查看图片能否打开，有没有这个图片、是不是完好、没有损坏的图片 # 参数：图片路径 # 返回：True from PIL import Image def check_pic(path_pic): try: # FileNotFoundError img = Image.open(path_pic) # OSError: image file is truncated i

今天我们一起学习如何使用不同的Python模块从web下载文件。此外，你将下载常规文件、web页面、Amazon S3和其他资源。最后，你将学习如何克服可能遇到的各种挑战，例如下载重定向的文件、下载大型文件、完成一个多线程下载以及其他策略。你可以使用requests模块从一个URL下载文件。考虑以下代码:你只需使用requests模块的get方法获取URL，并将结果存储到一个名为“myfile”的变量中。然后，将这个变量的内容写入文件。你还可以使用Python的wget模块从一个URL下载文件。

最后用了 wget -c -r -np ftp://name:pw@server/dir/ 实现从先前虚拟主机ftp上转移某目录下所有文件到新VPS上。所用参数 -c 断点续传（备注：使用断点续传要求服务器支持断点续传），-r 递归下载（目录下的所有文件,包括子目录），-np 递归下载不搜索上层目录参考： wget是linux下命令行的下载工具，功能很强大

python下载数据的各种方法python下载数据的各种方法我一开始写的下载代码带有断点续传的request库方法（不一定能行）wget方法 python下载数据的各种方法上一篇我写了怎么去网站取爬取一些下载链接，还有一些自己写的python程序，主要用了request 和 urllib.request 等库，不过发现使用这些下载文件有些问题，例如不能断点传，不好下大文件，没有进度界面，没有校验等等，只适合下数量少的小文件，今天我发现有两个有用的工具来下载。我一开始写的下载代码 import requ

其他技术讨论专区

473

社区成员

791,201

社区内容

发帖

与我相关

我的任务

其他技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章