Python批量下载调度框架:断点续传、哈希校验与有界并发实践

Python批量下载断点续传哈希校验
于 2026-10-29 04:03:08 修改
·本内容遵循CC 4.0 BY-SA版权协议

做流媒体资源批量下载,最难的不是单个文件怎么下,而是把一堆文件稳定、不重复、不断点地拉下来。我之前在自建素材库和离线数据集的时候,经常遇到下载一半断掉、重新开始、重复下载、把磁盘IO和网络连接打到崩溃的问题,后来干脆自己设计了一个基于Python的批量任务调度框架,核心就三件事:断点续传、哈希校验、有界并发。这篇文章把整个设计思路和落地代码做一个完整复盘,适合那些需要批量获取公开媒体资源、自建媒体库、做离线数据备份,或者想学习如何用asyncio写一个正经任务框架的同学参考。

先说结论:这套框架不需要引入Celery、RabbitMQ这类重型中间件,在单机场景下用Python自带的asyncio就能把并发控制、任务调度、断点续传和完整性校验全部做干净。整个项目大概三百行核心代码,能支撑上千个下载任务的批量执行,跑挂了也能接着跑,不会因为一次断电把所有进度清零。

1. 项目概述与设计动因

1.1 需求背景与核心痛点

我最初的需求其实很简单:要把一批公开的音频资源(大约200个文件,总大小接近30GB)从远端服务器拉到本地,用于语音识别模型的训练数据准备。任务本身不复杂,但真开始做的时候发现一系列让人抓狂的问题。

最典型的一个场景:下载到第47个文件,进度95%,网络闪断,任务失败。重新跑一遍脚本?对不起,前面46个文件已经下载好了,脚本从头来过,要么跳过已经存在的文件,要么删掉重下。跳过会导致文件不完整,删掉重下浪费时间。更麻烦的是,这些资源文件没有统一的ETag约定,有的服务器支持断点续传,有的不支持,有的还带着代理缓存,返回的头信息五花八门。

我当时需要的是一个能长期稳定跑的东西:

  • 批量导入下载任务,支持从文本文件、CSV甚至数据库里读URL。
  • 每个任务独立管理状态,下载失败之后自动重试,不会拖垮整个队列。
  • 已下载的部分文件要能断点续传,不能因为一次断网就全部重来。
  • 下载完成后要做文件完整性校验,避免拿到一个损坏的媒体文件。
  • 同时并发量要可控,不能一下开几百个连接把服务器或者本地网络搞挂。

这就是这个任务调度框架的起点。

1.2 设计原则与架构选型

在设计架构之前我对比了几种方案。

第一反应是直接用wget加curl循环跑。这个方案最直观,但状态管理很弱,失败重试策略不好写,并发控制要么靠xargs -P,要么自己写Shell脚本,一旦任务中断,整个状态就丢了。而且wget的-c虽然支持断点续传,但只对单文件有效,批量场景下的调度逻辑还是得自己写。

第二反应是上Celery加Redis。这套组合功能很全,分布式调度、任务持久化、重试机制都有。但问题是,我只有一个节点,任务类型就是简单的HTTP下载,引入Celery相当于杀鸡用牛刀,还要额外维护Broker和Worker进程。我仔细算了一下,光是为了跑批量下载,额外多出来的运维成本完全没必要。

第三,就是我现在采用的方案:asyncio + aiohttp + 自研状态机。

为什么选异步?因为下载任务是典型的IO密集型任务,瓶颈在网络和磁盘,不是CPU。用多线程当然也能做,但线程切换开销、共享变量的锁管理、线程池上限控制,这些写起来远不如协程自然。asyncio配合Semaphore可以轻量地限制并发度,而且Python 3.7之后的asyncio.run()封装非常友好,调试起来也直观。

架构上我把整个系统分成三层:

  • 调度层:负责任务队列管理、任务状态流转、重试策略、并发控制。
  • 下载层:基于aiohttp封装断点续传逻辑,负责HTTP Range请求、分块写入临时文件。
  • 校验层:负责下载完成后的哈希计算与结果比对,校验失败自动触发重新下载。

这三层各司其职,互不干扰。每层都提供独立的日志输出,出了问题翻日志就能定位。

2. 核心机制拆解

2.1 断点续传:从Range Request到文件续写

断点续传的原理听起来很简单,实现的时候有几道坎。

HTTP协议里,客户端在请求头带上Range: bytes=<start>-<end>,服务器如果支持Range,会返回206 Partial Content,并在Content-Range头里带上传送的具体区间。如果不支持,会返回200 OK并且直接传整个文件。这是最基本的机制。

但实际应用中有几个关键点:

第一,本地文件怎么写才安全?

最稳妥的做法是下载时先写入临时文件,比如xxx.mp4.part。每次记录已下载字节数,下次断点续传时打开.part文件,seek到末尾,再从断点位置发起Range请求。这里要注意,seek之前必须确认文件的实际大小和记录的进度一致,否则文件大小对不上,继续写入会直接破坏数据结构。

我见过很多人直接往目标文件里写,下载到一半进程崩了,留下一个残缺的.mp4文件。后期校验哈希失败,但是你已经分不清这个文件是完整下载后校验失败,还是下载过程中就断了。

第二,怎么识别服务器是否支持续传?

判断依据是响应的状态码。206就是支持,200就是不支持或者说服务器选择忽略Range头。如果服务器不支持,策略上只能从零重新下载。

这里有个细节,很多代码只判断状态码,却不考虑重定向。aiohttp默认会跟随重定向,但重定向之后的响应状态码可能已经变了。我用allow_redirects=False先拿一轮响应,如果遇到301/302再手动处理Location,保证拿到的Range响应是原始服务器的返回。

第三,断点续传和普通“重传”的区别。

普通重传是重新发起整个文件的下载请求,断点续传是只请求缺失部分。对于大文件,这个差距是数量级的。一个1GB的文件已经下载了990MB,断点续传只需要再传10MB,而重传需要1GB。

顺带提一句,经常有人把下载续传和上传断点续传搞混。上传场景下一般用Content-Range头来分段推送,下载场景则是用Range头来分段获取,两者的协议语义完全不同。如果搜网上的代码,注意区分“断点续传和完整上传的区别”,下载框架里用的始终是Range。

2.2 哈希校验:完整性验证的最后一环

下载完成不等于文件可用。网络传输过程中数据可能损坏,服务器端文件可能本身就是坏的,甚至本地磁盘写入过程中可能遇到坏道。所以必须有一种机制来验证文件完整性,最常见的做法就是哈希校验。

我用的哈希算法是SHA-256。虽然MD5计算更快,但在2025年这个阶段,MD5已经被认为不安全,用在完整性校验场景虽然问题不大,但既然现代CPU计算SHA-256的速度也足够快,就没必要给自己留隐患。

哈希校验的算法本身没有太多花样,关键在怎么算。

  • 分块读取:不能一次性把整个文件读进内存,几百MB的文件会直接把内存打爆。我每次读8 * 1024 * 1024字节(8MB),丢进hashlib.sha256()的update()方法里。
  • 二进制模式打开:文本模式下Windows系统会做换行符转换,导致算出的哈希和服务器上的完全不同。必须用rb模式。
  • 哈希值对比:两个哈希都转成十六进制字符串后比较,避免二进制比较时踩到字节序的坑。

校验通过的任务标记为completed,校验失败的任务重新进入下载队列,并且要带上重试次数。超过最大重试次数之后标记为failed,等待人工处理。

这里有一个容易被忽视的点:下载完成之后不要立刻删掉.part文件。哈希校验失败重试的时候,.part文件还能作为断点续传的基础。一旦删掉,整个文件从零开始,非常浪费。

2.3 有界并发:如何在速度和资源占用之间找平衡

“并发”这个词在Python里有很多实现方式,但资源是有限的。我现在说的“有界并发”,本质上是控制同时打开的网络连接数和占用的内存资源。

如果完全不限并发,直接把200个任务全部扔进asyncio事件循环,几百个协程同时向外发送请求,本地文件描述符会被耗尽,路由器可能扛不住几千个TCP连接,目标服务器也可能直接封IP。我遇到过本地OSError: Too many open files崩溃,原因就是并发连接数超过了系统文件描述符限制。

解决办法是用asyncio.Semaphore。

信号量本质上是一个计数器。初始化为N,每个协程要执行下载操作前先acquire(),计数器减1;下载结束后release(),计数器加1。当计数器为0的时候,新的协程会阻塞,直到有其他协程释放位置。这样就能保证同时激活的下载任务不超过N个。

这里要特别说明,信号量控制的是“正在下载的任务数”,不是“任务总数”。任务可以全量入列,但真正同时跑的就是信号量允许的N个。排队等着的协程并不会占用文件描述符,只是挂在事件循环上等待。

并发数N怎么定?我的经验是:

  • 如果目标是公共资源站,N取4到8,太激进的并发容易触发反爬策略或者限流。
  • 如果目标是自己的服务器,N可以取16到32,同时还要考虑带宽上限。

有一个估算公式:并发数 ≈ 期望总带宽 / 单连接平均带宽。比如期望占用500Mbps带宽,单连接平均能跑到50Mbps,那并发数取10左右比较合理。实际项目中我会先跑5个任务测速,再根据测速结果推算并发数。

3. 实操落地:一个可复用的调度框架

3.1 环境准备与目录设计

先交代环境。我用的是Python 3.10版本,依赖只有两个:

TEXT
aiohttp>=3.8.0

标准库用到的模块有:asyncio、hashlib、json、os、time、pathlib、dataclasses、logging。

项目目录结构:

TEXT
download_scheduler/
├── main.py # 入口脚本
├── scheduler.py # 调度器核心
├── downloader.py # 断点续传下载
├── checksum.py # 哈希校验
├── tasks.json # 任务持久化文件(自动生成)
└── downloads/ # 文件存放目录
└── tmp/ # .part临时文件目录

tasks.json是整个框架的“记忆中枢”。每次任务状态变化都会立即写盘,这样即使进程被强杀,重启后也能从磁盘恢复现场。定时写盘或者只在下一次状态变化时写盘,这两种方案我都试过,最终选了“每次状态变化立即写盘”,因为任务状态变化频率不高,写盘开销可以忽略。

3.2 任务模型与状态持久化

任务模型我用dataclass定义:

PYTHON
# scheduler.py
import json
from dataclasses import dataclass, field, asdict
from typing import Optional
from enum import Enum
 
class TaskStatus(str, Enum):
PENDING = "pending"
DOWNLOADING = "downloading"
VERIFYING = "verifying"
COMPLETED = "completed"
FAILED = "failed"
 
@dataclass
class DownloadTask:
task_id: str
url: str
filepath: str
status: TaskStatus = TaskStatus.PENDING
downloaded_bytes: int = 0
total_bytes: int = 0
expected_checksum: Optional[str] = None
actual_checksum: Optional[str] = None
retries: int = 0
max_retries: int = 3
error_message: str = ""

这里我把任务状态定义成一个明确的状态机:

  1. PENDING:任务刚加载进队列,还没开始下载。
  2. DOWNLOADING:正在下载或者等待断点续传。
  3. VERIFYING:下载已完成,正在计算哈希。
  4. COMPLETED:哈希校验通过,任务正式完成。
  5. FAILED:重试次数用尽,任务失败,等待人工介入。

状态转移路径是PENDING -> DOWNLOADING -> VERIFYING -> COMPLETED,任何一步失败都能回到DOWNLOADING进行重试,重试超过max_retries后标记为FAILED。

任务持久化其实就是一个save_tasks()函数,把整个任务列表写成JSON:

PYTHON
class TaskStore:
def __init__(self, path="tasks.json"):
self.path = path
 
def load(self) -> dict[str, DownloadTask]:
if not os.path.exists(self.path):
return {}
with open(self.path, "r", encoding="utf-8") as f:
data = json.load(f)
return {tid: DownloadTask(**item) for tid, item in data.items()}
 
def save(self, tasks: dict[str, DownloadTask]):
with open(self.path, "w", encoding="utf-8") as f:
json.dump({tid: asdict(task) for tid, task in tasks.items()}, f, ensure_ascii=False, indent=2)

有个写文件的小经验:先写临时文件再原子替换,避免写一半程序崩溃导致tasks.json损坏。改进版本:

PYTHON
def save(self, tasks: dict[str, DownloadTask]):
tmp_path = self.path + ".tmp"
with open(tmp_path, "w", encoding="utf-8") as f:
json.dump({tid: asdict(task) for tid, task in tasks.items()}, f, ensure_ascii=False, indent=2)
os.replace(tmp_path, self.path)

os.replace是原子操作,要么旧文件还在,要么新文件完整生效,不存在中间态。

3.3 断点续传下载器的实现

下载器是整个框架里最核心的部分。直接上代码:

PYTHON
# downloader.py
import asyncio
import os
import aiohttp
 
CHUNK_SIZE = 1024 * 1024 # 1MB,每块写入磁盘
 
class Downloader:
def __init__(self, temp_dir: str):
self.temp_dir = temp_dir
 
async def download(self, task, session: aiohttp.ClientSession,
progress_callback=None) -> bool:
# 临时文件路径,下载过程中文件数据都写到这里
tmp_file = os.path.join(self.temp_dir, os.path.basename(task.filepath) + ".part")
 
# 获取断点位置:已下载字节数,对应临时文件的大小
existing_size = os.path.getsize(tmp_file) if os.path.exists(tmp_file) else 0
resume_position = task.downloaded_bytes
 
# 如果临时文件大小和记录的字节数不一致,说明状态有问题,强制从0开始
if existing_size != resume_position:
resume_position = 0
 
headers = {}
if resume_position > 0:
headers["Range"] = f"bytes={resume_position}-"
 
try:
async with session.get(task.url, headers=headers, timeout=aiohttp.ClientTimeout(total=60)) as resp:
if resp.status == 206:
# 服务端支持断点续传,从断点继续写
mode = "ab"
elif resp.status == 200:
# 服务端不支持断点续传,重新下载
resume_position = 0
mode = "wb"
else:
task.error_message = f"HTTP {resp.status}"
return False
 
if resp.status == 200:
# 需要获取总大小,用于进度显示
task.total_bytes = int(resp.headers.get("Content-Length", 0))
elif resp.status == 206:
# Content-Range格式:bytes 0-100/101
range_header = resp.headers.get("Content-Range", "")
if "/" in range_header:
task.total_bytes = int(range_header.split("/")[1])
 
with open(tmp_file, mode) as f:
async for chunk in resp.content.iter_chunked(CHUNK_SIZE):
if not chunk:
break
f.write(chunk)
task.downloaded_bytes += len(chunk)
if progress_callback:
await progress_callback(task)
 
task.status = "verifying"
return True
except asyncio.TimeoutError:
task.error_message = "download timed out"
return False
except aiohttp.ClientError as e:
task.error_message = f"network error: {e}"
return False
except Exception as e:
task.error_message = f"unexpected error: {e}"
return False

几个关键细节:

  • iter_chunked比原来的resp.content.read()更适合大文件传输,它按指定大小分块,不会无限占用内存。
  • 临时文件判空逻辑很关键:如果系统里残留了一个损坏的.part文件,但数据库记录的downloaded_bytes是0,这时直接seek到0等于没断点,所以要从头开始覆盖写。
  • 写文件用二进制模式,ab和wb两种模式根据状态码切换。
  • site-packages里旧版aiohttp的Timeout用法曾经是ClientTimeout(total=60),现在新版有细微差别,但aiohttp.ClientTimeout(total=60)仍然可用。

3.4 哈希校验与校验失败处理

校验模块设计得比较独立:

PYTHON
# checksum.py
import hashlib
import os
 
BLOCK_SIZE = 8 * 1024 * 1024 # 8MB
 
def calculate_sha256(filepath: str) -> str:
"""计算文件的SHA256哈希值"""
sha256 = hashlib.sha256()
with open(filepath, "rb") as f:
while chunk := f.read(BLOCK_SIZE):
sha256.update(chunk)
return sha256.hexdigest()
 
def verify_file(filepath: str, expected_checksum: str) -> bool:
"""校验文件哈希,expected_checksum为None时不校验"""
if not expected_checksum:
return True
actual = calculate_sha256(filepath)
return actual.lower() == expected_checksum.lower()

校验失败的逻辑是这样的:

PYTHON
async def _handle_verification_failure(self, task, tasks):
task.actual_checksum = None
task.retries += 1
task.downloaded_bytes = 0
 
# 关键:删除临时文件,因为哈希不对意味着整个文件都可能坏了
tmp_file = os.path.join(self.temp_dir, os.path.basename(task.filepath) + ".part")
if os.path.exists(tmp_file):
os.remove(tmp_file)
 
if task.retries >= task.max_retries:
task.status = TaskStatus.FAILED
task.error_message = "checksum mismatch after retries"
else:
task.status = TaskStatus.PENDING

这里有个值得展开的点:校验失败之后要不要删.part文件?我的做法是删。因为如果哈希不匹配,你根本不知道是文件哪个字节出了问题,继续在旧数据上做断点续传,后续下载回来的新数据会拼在一个损坏的基座上,最后校验大概率还是失败。清零重建虽然浪费一点带宽,但至少结果可信。

如果项目对带宽极度敏感,其实可以做一个“按块校验”的变体,把文件切成固定大小的块,每块单独记录SHA256值。下载时只重传错误块。但这会让框架复杂度上一个量级,当前需求下不值得。

3.5 调度器主体与信号量并发控制

调度器的核心是一个事件循环,不断从任务队列里拿PENDING任务,交给信号量控制的协程执行:

PYTHON
# scheduler.py
import asyncio
import logging
from pathlib import Path
 
class Scheduler:
def __init__(self, task_store: TaskStore, downloader: Downloader,
max_concurrency: int = 8):
self.task_store = task_store
self.downloader = downloader
self.tasks = task_store.load()
self.semaphore = asyncio.Semaphore(max_concurrency)
 
async def run(self):
pending_tasks = [t for t in self.tasks.values() if t.status == TaskStatus.PENDING]
logging.info(f"loaded {len(pending_tasks)} pending tasks")
 
# 为每个任务创建一个协程,但semaphore会限制真正运行的并发量
async def worker(task):
async with self.semaphore:
await self._process_one(task)
 
await asyncio.gather(*(worker(t) for t in pending_tasks))
 
async def _process_one(self, task):
async with aiohttp.ClientSession() as session:
task.status = TaskStatus.DOWNLOADING
success = await self.downloader.download(task, session, progress_callback=self._on_progress)
 
if not success:
# 普通失败,计入重试
task.retries += 1
if task.retries >= task.max_retries:
task.status = TaskStatus.FAILED
else:
task.status = TaskStatus.PENDING
self.task_store.save(self.tasks)
return
 
# 下载完成,进入校验阶段
task.status = TaskStatus.VERIFYING
self.task_store.save(self.tasks)
 
# 如果有期望哈希,执行校验;没有则直接完成
if task.expected_checksum:
# 注意:哈希校验是CPU密集,不应该在事件循环里直接做
actual = await asyncio.to_thread(calculate_sha256, task.filepath)
task.actual_checksum = actual
if actual.lower() != task.expected_checksum.lower():
await self._handle_verification_failure(task)
return
 
task.status = TaskStatus.COMPLETED
self.task_store.save(self.tasks)
 
async def _on_progress(self, task):
# 这里的进度回调不真正落盘,避免频繁IO
# 定期由外部保存状态
if task.total_bytes > 0:
percent = task.downloaded_bytes / task.total_bytes * 100
logging.info(f"{task.task_id}: {percent:.2f}%")

注意我在校验阶段用了asyncio.to_thread()。SHA-256计算是CPU密集型操作,如果在主事件循环里直接执行,会让整个调度器卡住——所有正在下载的任务都会暂停,直到哈希计算完成。用to_thread把哈希计算丢到独立线程,异步主循环就能继续保持其他下载任务运转。

并发控制的核心就这一段:

PYTHON
async def worker(task):
async with self.semaphore:
await self._process_one(task)

Semaphore(max_concurrency)在_process_one开始时才获取,所以同一个时间窗口内,正在执行_process_one的协程数最多为max_concurrency,其余的协程都在worker()入口处排队等待。

有人会问:“那asyncio.gather创建了所有协程,岂不是每个任务都会建立aiohttp会话?”不会。session是在_process_one内创建的,协程排队期间并没有执行到session创建。所以资源占用是可控的。

为了让调度器在崩溃后恢复任务,入口可以在run()之前加一段恢复逻辑:

PYTHON
def recover_interrupted_tasks(self):
"""重启时把downloading/verifying状态的任务重置为pending"""
for task in self.tasks.values():
if task.status in (TaskStatus.DOWNLOADING, TaskStatus.VERIFYING):
task.status = TaskStatus.PENDING
self.task_store.save(self.tasks)

这个逻辑很重要。进程崩溃时,很可能某个任务正卡在DOWNLOADING状态,重启后如果不重置,任务永远不会再被消费。

4. 常见问题与排查技巧实录

4.1 断点续传失效的三种典型场景

场景一:服务端不支持Range请求

有些静态资源服务器,尤其是一些古董CDN节点,收到Range头后会直接忽略并返回200。表现为下载器拿到200状态码后重新从零开始,最终文件也能下载完成,只是续传逻辑失效。

排查方法:先发一个curl -I -H "Range: bytes=0-100"看响应头。返回206就是支持,返回200就是不支持。如果是一闪而过的临时任务,不支持也就算了;如果是大量任务的目标服务器都不支持,就需要考虑放弃断点续传,直接全量下载。

场景二:本地文件大小和记录字节数不一致

我遇到过最隐蔽的问题:下载任务完成后,total_bytes和downloaded_bytes都正确,但.part文件因为磁盘写入顺序问题,实际大小比记录值少了几KB。下次从断点续传时发现existing_size != resume_position,代码强制从头下载。性能没那么严重,但如果每次断点都从头来,等于前面下载全部作废。

这个问题根因是程序异常退出时,缓冲数据没写入磁盘。对策是下载每块数据后立即f.flush(),或者至少在任务暂停时调用f.flush() + os.fsync()。我在Downloader里加了一行after writing each chunk的f.flush(),开销可以接受。

场景三:临时文件被清理工具删除

下载过程中如果用了磁盘清理软件,或者别的脚本误删了downloads/tmp目录下的.part文件,文件就没了,断点计算自然失效。解决方法是把tmp目录和最终目录分开,不要混用,并且在启动脚本里检查tmp目录是否存在,不存在就创建。

4.2 哈希校验太慢怎么办

30GB的内容用SHA-256校验,耗时取决于磁盘速度和CPU。实测下来机械硬盘上大约每秒500MB读取,计算SHA-256需要一分钟左右;NVMe固态上快很多,能到每秒1GB左右。如果大量任务卡在校验阶段,可以并行校验多个文件,但注意不要把所有CPU吃掉。

我的经验是校验并发数不超过CPU逻辑核心数的一半,用线程池或者asyncio.Semaphore单独控制。网络下载和本地校验其实可以重叠:下载协程把文件写完后,校验协程立刻处理,不等其他任务。

另一个优化是只算不校验时的“懒校验”。如果下载源本身有HTTPS加密和可靠传输(比如从自家服务器拉资源),可以配置expected_checksum为空,跳过哈希校验,省去大量等待。我通常设置一个skip_checksum开关,只有从第三方源下载时才开启严格校验。

4.3 并发参数怎么调才不卡

并发参数不只是一个Semaphore的数字那么简单。实际受三个因素制约:

  • 目标服务器带宽:单连接能达到的带宽越接近总带宽,并发数就越不需要设大。如果单个连接已经占满了全部带宽,开10个并发反而可能互相抢带宽,总吞吐量不升反降。
  • 本地文件描述符限制:Linux下默认ulimit -n是1024,开300个并发连接很容易触发“Too many open files”。临时调大是ulimit -n 65535,但更优雅的方式是控制并发数。
  • 系统内存:每个协程本身占用很少,但aiohttp的缓冲、临时写入缓冲区会占用内存。并发100和并发10的内存占用差接近一个数量级。

我建议的调参流程:

  1. 先用max_concurrency=4跑20个任务,看平均单连接下载速度和总耗时。
  2. 把并发数翻倍,看总耗时是否减半。如果减半,继续翻倍;如果只缩短10%,说明带宽已经到顶,不要再加了。
  3. 观察CPU和内存占用,确保整体稳定。

调参的时候别忘了看目标服务器日志,如果出现大量429状态码,说明已经触发限流,立刻把并发数调小。

还有一个实操技巧:给每个任务加一个小的随机延时(比如0.2到1秒),可以有效降低服务器瞬时压力,减少429和超时。我通常会在深入任务开始时加await asyncio.sleep(random.uniform(0.2, 1.0))。

4.4 问题速查表

问题现象 可能原因 解决方案
下载总在90%后断掉 服务器主动断开长连接 给aiohttp请求设更长的ClientTimeout,或在断点续传重试时递增等待时间
哈希校验一直失败 文件在下载过程中被截断,或者.part文件残留 校验失败后删除.part文件,强制全量重下
重启后任务全部重新下载 tasks.json未持久化或者状态被重置 确认save()在每次状态变更后调用,用os.replace原子替换
进程启动时提示“Too many open files” 并发数超过文件描述符限制 调小max_concurrency,或者ulimit -n 65535
任务出现大量429 并发过高,触发服务端限流 降低并发数,加大任务间随机延时
服务器不支持Range续传 目标服务器忽略Range头 代码里已经做了判断,200状态码下自动全量下载,无需干预
aiohttp请求超时但进程不退出 ClientTimeout(total=60)设置过长 调整超时时间,并设置retries保证失败任务能被回收
磁盘空间被.part文件占满 大量任务下载中断,临时文件残留 启动时清理超过7天的.part文件,或完成最终校验后立即删除

5. 后续扩展与个人经验小结

写完这个框架之后我又做了两个扩展:一是增加了Web管理接口,用FastAPI暴露当前任务状态列表,可以直接在浏览器里看每个任务的进度条;二是接入了Redis队列,支持多台机器共享任务分发。但第二点说实话对单机下载场景帮助不大,反而引入了一个新的故障点。

个人实际跑下来的感受是:做批量下载,稳定性永远比速度重要。跑几十个任务看不出差距,跑上千个任务的时候,能自动恢复、不重复下载、不占用额外流量的调度框架才是真正省心的。很多网上教程只教你怎么用requests下载单个文件,但真正落地生产级别的下载任务,断点续传和哈希校验是绕不开的基本功。

有几次半夜下载任务因为服务器故障中断,起床后发现框架自动重试恢复了,只剩两个任务需要人工处理。这种体验是用Shell脚本循环下载完全没法比的。

如果你也想自己实现一个类似的框架,我的建议是先把状态机梳理清楚,再考虑并发优化。状态都不稳,再快的下载也没有意义。框架的代码量不大,但每一行都是踩过坑之后换来的经验,希望能帮你少走弯路。

基于Python+Open CV的手势识别算法设计
伴随着人工智能时代的到来,人机交互的领域也逐渐成为研究的一大方向;其中,手势识别是人机交互领域的一项关键技术,自此手势识别也迎来了一波高潮,近几年无论是在消费领域、电子领域、数码领域、家电领域甚至汽车领域上,都能或多或少的见到手势识别的身影。 手势识别在设计智能高效的人机界面方面具有至关重要的作用, 目前手势识别已应用到手语识别、智能监控、到虚拟现实等各个领域,手势识别的原理都是利用各种传感器(例如红外、摄像头等)对手部的形态进行捕捉并进行建模,形成一个模型信息的序列帧,而后将这些信息序列转换为机器能够识别的相对应指令(例如打开、切换菜单、移动等)来完成控制。 采用Python的集成开发环境Pycharm进行本次课程设计,在Pycharm中进行需要库(模块)的下载,调取电脑摄像头,按帧读取摄像头采集到的头像,形态学处理,图像旋转(由于摄像头采集到的图像是镜像,需要用cv2.flip将摄像头采集到的图像进行处理),选取图片中固定位置作为手势输入,用红线画出手势识别框,基于hsv的肤色检测,进行高斯滤波,找出轮廓,求出图像中手势的凹凸点,手指间角度求取。
努力学习前端的小陈
ArcGIS Pro入门制图教程
地理信息系统 (GIS) 是一种使用地图显示和分析数据的方式。在本教程中,您将学习桌面 GIS 应用程序 ArcGIS Pro 的基础知识。新加坡的一家旅行社希望制作一款宣传册,用于向游客介绍距离市中心热门目的地最近的火车站。该宣传册将与带有文本信息的地图相结合,并在城市的自助设备中出售。您将帮助该旅行社绘制旅游景点的地图,分析其与火车站的距离以及更改地图的外观以使其在视觉上更具吸引力。在 ArcGIS Pro 中,地图和数据通常被组织在一个工程中。开始制作地图之前,您将创建一个工程。
科研online
ArcGIS Pro 布局创建与地图加载全流程解析
本文详细解析了ArcGIS Pro中布局创建与地图加载的全流程。针对从ArcMap转来的用户,重点阐述了布局与地图解耦的核心设计理念,并提供了从新建布局、设置参考比例尺、加载地图框到深度控制与精细化排版的实用技巧,帮助用户高效制作专业地图。
您的账号已被封禁
ArcGIS PRO布局视图避坑指南:地图框添加与专题图制作的5个关键步骤
本文针对ArcGIS PRO用户在布局视图中制作专题图时遇到的常见问题,提供了地图框添加与专题图制作的5个关键步骤避坑指南。从理解布局视图思维、数据框预处理、地图元素协同配置,到深化视觉层次与最终输出检查,系统讲解了如何高效产出严谨美观的专业地图,帮助用户跨越从数据分析到地图输出的最后一公里。
冰炭不同炉
ROS-CV-ImageConverter:将ROS图像转换为OpenCV(cv :: Mat)类型的图像
ROS-CV图像转换器 依存关系 cv_bridge(ROS软件包)
Willis Wang
计算机视觉图像处理-CV2与图像插值算法
用最近邻插值与双线性插值原理完成图像缩放 最近邻插值,是指将目标图像中的点,对应到源图像中后,找到最相邻的整数点,作为插值后的输。缺点:使用最近邻插值算法处理图像放大时,在图象中可能出现明显的块状效应 双线性插值,在两个方向上做三次线性插值。使用双线性插值算法处理图像放大时,在图象中可能出现马赛克 代码 import cv2 img = cv2.imread(’./xiabang.jpg’, cv2.IMREAD_UNCHANGED) #缩放比例 scale_percent = 0.3 width = int(img.shape[1] * scale_percent) height = int
weixin_38697274
基于水平集CV模型的图像分割(Matlab代码)
基于水平集CV模型的图像分割(Matlab代码),全套代码
小宇QAQ
导向滤波(guide_filter)的python实现
导向滤波(guide_filter)的python实现,可以结合暗通道;理论实现比较好的图像去噪效果。
zachzhan_g
ArcGIS Pro 如何新建布局
你是否已经习惯了在ArcGIS中数据视图和布局视图之间来回切换,到了ArcGIS Pro中却找不到二者之间切换的按钮,即使新建布局后却发现地图怎么却是一片空白。从上面的图中可以看到,虽然新建了布局,但是地图还是空白的,如果想要显示地图还需要加载一下,将地图加载进来。在新建的布局上绘制一个框,作为地图显示的范围,绘制后可以看到地图已经完成加载,如下图所示。在菜单栏上选择插入,点击新建布局下拉箭头,选择一个合适的尺寸,如下图所示。点击后完成布局的新建,新建的布局如下图所示。
水经注GIS
ArcGIS Pro数据修复与图层管理实战指南
本文是ArcGIS Pro数据修复与图层管理的实战指南。针对数据源丢失导致的“红色叹号”问题,详细讲解了一键批量修复和进阶手动修复策略,并分享了使用相对路径、打包工程等防患于未然的黄金法则。同时,深入介绍了如何利用图层组进行高效的地图内容组织、比例尺控制与批量操作,帮助用户构建清晰、智能的专业地图,大幅提升GIS项目管理效率。
Tomato
ArcGIS Pro布局设计实战:从空白页面到专业地图输出的完整工作流
本文详细解析了ArcGIS Pro中从“新建布局”开始,到输出专业地图的完整工作流。内容涵盖布局哲学、地图框深度运用、制图元素集成及视觉排版等核心环节,旨在帮助中级用户掌握项目驱动的现代化制图方法,实现从数据到出版级地图的精准转化。
AnjneyMidha
ArcGIS PRO布局视图避坑指南:地图框添加与坐标系设置的5个常见错误
本文针对ArcGIS PRO用户在布局视图中常遇的难题,重点解析了地图框添加与坐标系设置的5个常见错误。从地图框的创建逻辑、坐标系冲突的根源剖析,到地图范围控制、元素联动更新以及打印导出设置,提供了一套完整的避坑指南与实战解决方案,帮助用户高效、精准地完成地图制图与输出工作。
重离子猫猫
ArcGIS Pro布局设计避坑指南:为什么你的地图总是显示空白?
本文深入解析ArcGIS Pro布局设计中地图显示空白的常见问题,提供从基础操作到高级排错的完整解决方案。重点讲解地图框的正确使用方法、布局元素配置技巧,以及多地图框协同工作等进阶功能,帮助用户快速掌握专业地图制作的核心技术。
习翔宇
CV算法(MATLAB)
chan 和 vese 提出的经典CV模型
beastLOVE
GrabCut:使用opencv-python cv2.grabCut交互式剪切图像
GrabCut 使用opencv-python cv2.grabCut交互式剪切图像
Aaron Gary
Opencv-Python图像透视变换cv2.warpPerspective的示例
今天小编就为大家分享一篇关于Opencv-Python图像透视变换cv2.warpPerspective的示例,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
weixin_38711369
leetcodecv-Kylin:CV算法岗面经&LeetCode刷题总结
leetcode cv Kylin CV算法岗面经 & LeetCode刷题总结 不断更新中。。。。 面试&笔试经验 LeetCode
weixin_38499553
基恩士CV-X系列相机控制器用户手册CV-X Series Users Manual_CHS.pdf
基恩士CV-X系列相机控制器用户手册CV-X Series Users Manual_CHS真的很不错,
weixin_43905342
ArcGIS布局视图方向调整与优化技巧
地图布局方向是GIS制图的基础设置,直接影响空间数据的可视化效果。横向(Landscape)和竖向(Portrait)布局通过调整页面长宽比例,可优化不同地理要素的展示方式。在ArcGIS等专业制图软件中,方向设置会联动影响比例尺、图例等核心元素的自动适配逻辑。本文以A4纸张为例,详解通过页面设置、Python脚本批处理等技术手段实现布局方向的高效调整,并针对比例尺失准、图例溢出等典型问题提供工程解决方案。特别适用于带状区域地图制作等需要最大化利用版面空间的场景,可提升40%以上的图面利用率。
塞音菩光
ArcGIS Pro 3.4必学新功能:符号系统与布局视图的可见性联动(含省时技巧)
ArcGIS Pro 3.4引入了符号系统与布局视图的可见性联动功能,通过唯一值符号化和复选框控制,实现原子级要素显示/隐藏。这一创新极大提升了制图效率,支持在符号系统窗格、内容窗格和布局视图中同步操作,特别适合城市规划、环境监测等需要动态展示的场景。
t8u9v0
ArcGIS Pro 布局创建与地图加载全攻略
本文详细解析了ArcGIS Pro中布局与地图分离的设计哲学,并提供了从新建布局到加载地图的完整操作指南。重点介绍了如何通过“插入”选项卡新建布局、选择合适的页面尺寸,以及使用地图框工具将项目中的地图动态链接至布局。文章还涵盖了地图范围控制、比例尺锁定、图例添加等深度定制技巧,帮助用户高效创建专业地图并导出为高质量成果。
milk8
ArcGIS多图布局实战:从数据框管理到批量导出的完整指南
在地理信息系统(GIS)制图领域,将多张地图高效整合到单一版面是提升分析报告专业性与表现力的关键技术。其核心原理在于理解并运用数据框与布局视图的分离机制,通过独立的数据框承载不同区域或专题的地理数据,并在统一的布局视图中进行精确排版与视觉整合。这项技术的核心价值在于实现了制图流程的标准化与自动化,避免了传统拼图方式带来的效率低下与更新困难问题,尤其适用于区域对比、时间序列分析、综合评估报告等需要多视角、多维度展示地理信息的应用场景。本文聚焦于ArcGIS Pro平台,深入剖析了多图布局中数据框范围联动、地图
aaa1231722
monolithic-cv:CV算法的集合
单片-cv 计算机视觉算法转储
晨曦姜
改进的cv图像分割
改进的cv图像分割,对学习cv模型有帮助
a904235765
C++实现基于暗通道与导向滤波的图像去雾算法
资源下载链接为: https://pan.quark.cn/s/1bfadf00ae14 在图像处理领域,图像去雾技术用于消除大气散射导致的模糊,提升图像清晰度和视觉质量。本文将介绍一种基于暗通道和导向滤波的图像去雾算法,并探讨如何使用C++和OpenCV库实现。 暗通道理论由Jia等人于2006年提出。他们发现自然场景中存在一些低亮度像素,通常位于无直射光区域。这些像素被称为暗通道像素,可用于估计大气散射模型中的透射率。具体方法是将图像分块,在每块中找到最暗像素值作为暗通道像素。 大气散射模型是图像去雾的基础,描述了光线在大气中传播时的散射影响。模型公式为: I(x)=T(x)×J(x)+A×(1−T(x)) 其中,T(x)是透射率,J(x)是无雾图像亮度,A是全局大气光。透射率与散射程度成反比,无雾图像亮度反映物体本身色彩。 利用暗通道先验,可以近似估计透射率。假设D(x)为暗通道像素,透射率T(x)可通过迭代公式计算: T k+1 (x)= max(D)+ϵ D(x) +(1− max(D)+ϵ D(x) )×T k (x) 其中,k是迭代次数,ϵ是小常数,用于避免除零。 估计透射率后,使用导向滤波器平滑透射率图,减少噪声和边缘失真。导向滤波是一种自适应局部滤波方法,可保持图像边缘细节,同时进行平滑处理。在图像去雾中,它根据图像梯度信息指导滤波过程,更好地恢复图像清晰度。 通过大气散射模型,可得到去雾后的图像: J out (x)= T(x) I(x)−A×(1−T(x)) +A 在C++中,可借助OpenCV库处理图像数据。首先读取输入图像,然后提取暗通道,估计透射率,应用导向滤波,最终恢复无雾图像。OpenCV提供了丰富的图像处理函数,如cv::split用于分离通道,cv::min用于找最小值,cv::filter2D用于导向滤波,cv::imwrite用于保存
KaiyuanCode
cv模型图像分割matlab源程序
cv模型 matlab 图像分割源码,逻辑清晰,注释详尽。
phoenix01
CV图像分割
从pud找到的CV图像分割代码,代码的通过较少的迭代次数就可以实现图像的分割,对学习CV分割有帮助。
a904235765
ArcGIS Pro 3.0 布局视图实战:5分钟搞定专业地图的图例、比例尺与指北针
本文详细介绍了ArcGIS Pro 3.0布局视图的实战技巧,帮助用户在5分钟内高效添加图例、比例尺与指北针,打造专业地图。通过智能图例、动态比例尺和现代化指北针设计,提升制图效率与美观度,特别适合GIS初学者和从ArcMap迁移的用户。
weixin_30652491
ArcGIS Pro界面突然消失?3种恢复方法+自定义布局技巧
本文针对ArcGIS Pro用户常见的操作界面元素突然消失问题,提供了三种核心恢复方法:通过“视图”功能区一键唤回、利用“重置窗格”命令恢复默认布局,以及通过应用程序设置进行深度恢复。文章还深入讲解了如何通过停靠、分组窗格以及自定义功能区等技巧,打造高效个性化的操作界面,帮助用户从被动解决问题转向主动优化工作环境。
nnn11
3.3V-1.8V电平转换测试、以TXS0108E、NPN,NMOS方案为例
上述两个模块都测试过,测试结果相似。信号发生器产生3.3Vpp/10K Hz 方波测试1.8V信号输出结果模块出现顶部失真,原因是因为电平转换芯片需要转换的正电压,转换的方波如果没有设置偏置,会导致信号源的方波电平小于电平转换的所需的触发电平导致波形顶部失真。偏置设置为1.65V输出波形正常。但是模块接上负载后波形又出现顶部失真!!!TXS0108采用弱上拉设计(内部约4 kΩ上拉电阻),其驱动能力类似开漏输出,依赖外部负载完成电平转换。
KaifuZeng