TexADiff：基于纹理感知扩散模型的遥感图像超分辨率技术解析

遥感图像超分辨率纹理感知扩散模型
于 2026-05-29 03:04:11 修改
·本内容遵循CC 4.0 BY-SA版权协议

1. 项目概述与核心挑战

做遥感图像超分辨率（RSISR）的朋友们，估计都遇到过这样的头疼事：辛辛苦苦训练出来的模型，在城区、道路这些纹理复杂的区域，细节恢复得总是不够锐利，有点“糊”；可到了大片的水体、农田这些纹理简单的区域，模型又像“用力过猛”一样，凭空给你造出一些不存在的条纹或噪点，也就是所谓的“纹理幻觉”（Texture Hallucination）。这背后的根源，其实在于遥感图像天生就有的“纹理不平衡”特性。

与自然图像中纹理分布相对均匀不同，遥感图像里的地物，比如密集的建筑群和空旷的农田，其纹理密度差异极大，而且这些不同纹理的区域往往是成片、连续出现的。这种“全局随机、局部聚集”的空间异质性，让那些在自然图像上表现优异的超分方法，尤其是近年来火热的基于扩散模型的方法，在遥感场景下直接“水土不服”。它们通常对整张图“一视同仁”，用同样的强度去恢复所有区域。结果就是，该下功夫的纹理复杂区“吃不饱”，不该过度处理的纹理简单区却“营养过剩”。

我最近在复现和思考这个问题的过程中，看到了南京大学团队提出的TexADiff框架，觉得它切入的角度非常精准。它没有选择去改造整个扩散模型的基础架构，而是巧妙地引入了一个“纹理地图”作为向导，让模型自己学会“看菜下饭”。今天，我就结合自己的理解，把这个框架的设计思路、实现细节以及一些实操中的关键点，掰开揉碎了和大家聊聊。

2. TexADiff框架设计思路拆解

2.1 核心洞察：从“均匀用力”到“按需分配”

传统的扩散模型做超分，可以理解为一个“去噪”过程：从一个纯噪声图像开始，一步步根据低分辨率（LR）图像的引导，去除噪声，最终得到清晰的高分辨率（HR）图像。这个过程对于整张图的每个像素是同步、同强度进行的。但在遥感图像中，不同区域对“细节”的需求量天差地别。

TexADiff的核心思想，就是打破这种“大锅饭”模式，实现“精准投放”。它通过一个叫做相对纹理密度图（Relative Texture Density Map, RTDM） 的中间产物，来量化每个像素位置需要恢复的纹理细节的多少。RTDM本质上是一个与HR图同尺寸的二值掩码图，其中纹理丰富的区域（如建筑、道路）标记为1，纹理稀疏的区域（如水体、雪地）标记为0。

有了这张“需求地图”，模型在三个关键环节就可以做到差异化处理：

  1. 空间条件引导：将RTDM作为额外的条件输入，告诉扩散模型：“注意了，这些标记为1的区域是重点，需要多合成细节；那些标记为0的区域要克制，保持平滑。”
  2. 损失函数调制：在训练时，对RTDM标记为1的纹理丰富区域，给予更高的损失权重。这意味着模型在这些区域预测噪声的误差会被放大，从而迫使模型将更多的“学习精力”投入到恢复复杂纹理上。
  3. 动态采样调度：在推理（采样）的后半段，对纹理稀疏区域（RTDM=0）执行“隔步更新”。简单说，就是让这些区域的去噪过程“慢半拍”或“跳步走”，减少不必要的细节合成迭代，从而抑制幻觉。

这个“三位一体”的策略，构成了TexADiff自适应能力的骨架。它不是让模型盲目地生成细节，而是教会模型根据纹理分布的先验知识，智能地分配其有限的“表现力”。

2.2 方案选型背后的权衡

为什么选择扩散模型作为基底？而不是GAN或Transformer？这里涉及到对任务本质的理解。超分辨率，尤其是面对未知、复杂退化的真实遥感图像，是一个严重的“一对多”问题（一个LR对应无数可能的HR）。扩散模型强大的概率建模能力和生成先验，使其在应对这种不确定性时，比追求确定性映射的PNSR导向方法（如SwinIR）和容易模式崩溃的GAN方法（如Real-ESRGAN）更具优势。它能生成更逼真、更多样的高频细节。

然而，直接使用预训练的文生图（T2I）扩散模型（如Stable Diffusion）也存在“域鸿沟”。这些模型在自然图像上学习到的先验，与遥感图像的统计特性不符。TexADiff选择部分微调（Partial Fine-tuning） 预训练模型，而不是从头训练或完全冻结，是一个很务实的折中。完全微调计算成本太高，且容易过拟合小数据集；完全冻结则模型无法适应遥感域。TexADiff只解冻了U-Net中的部分下采样块和所有上采样块，这样既能利用预训练模型强大的特征提取能力，又能让模型有足够的灵活性去适应遥感图像特有的结构和纹理。

注意：选择解冻哪些层是关键。下采样层更多负责提取低级特征（边缘、轮廓），而上采样层直接负责生成像素细节。解冻上采样层能让模型更好地学习如何“绘制”出符合遥感特点的纹理，这个设计在后面的消融实验中被证明是有效的。

3. 核心模块深度解析与实现要点

3.1 RTDM的构建：从理论到实操的桥梁

RTDM是整个框架的“眼睛”，它的质量直接决定了后续所有自适应策略的效果。原文提出了两种获取方式：训练时的“真值估计”和推理时的“网络预测”。

训练时：基于HR-LR对的真值估计 由于训练时我们有配对的HR和LR图像，可以构造一个“理想”的RTDM。思路很直观：纹理丰富的区域，LR和HR的差异大（丢失的细节多）；纹理稀疏的区域，差异小。TexADiff采用了一个两步法：

  1. 预超分：先用一个PSNR导向的模型（如SwinIR）对LR图进行超分，得到一个初步的SR图（记为P-SR）。PSNR模型的特点是抗噪性好，但在纹理区会过度平滑，这正好放大了纹理区域的差异。
  2. 差异度量与融合：计算P-SR与真实HR之间的两种差异图：
    • 基于SSIM的局部对比度一致性图（MCCT）：SSIM对结构变化敏感，能捕捉局部纹理的退化程度。
    • 空间LPIPS响应图（MSL）：LPIPS是一种感知差异度量，能更好地反映人眼感知上的不同。 将两者融合（M = (1 - MSL) * MCCT），得到连续值的差异图M。M值越低，代表该位置纹理差异越大，越需要被重点恢复。
  3. 二值化：连续的M图不稳定，直接用于指导模型会导致训练震荡。因此需要通过一个阈值τ（在0.35-0.4间随机采样）将其二值化，并进行形态学后处理（腐蚀、膨胀、滤除小区域）和降采样，得到最终用于训练的RTDM掩码。

推理时：轻量级预测网络 实际应用中，我们没有HR图。因此需要一个轻量级的RTDM预测网络。它的输入是LR图和第一步得到的P-SR图，通过一个类U-Net的结构，输出预测的RTDM。这个网络用训练阶段生成的连续值M图作为监督信号（L1损失）进行训练。

实操心得：RTDM预测网络的训练是关键。在实际操作中，我发现这个网络不能训练得太“过”，否则会过度拟合训练集的纹理分布，在陌生场景上表现不佳。一个技巧是，在训练TexADiff主模型几轮后，再用主模型生成的SR结果和LR图去微调RTDM预测网络，形成一个协同优化的循环，能小幅提升RTDM的预测准确性。

3.2 MiniControlNet：高效的多条件融合引擎

有了LR图像和RTDM两个条件，如何高效地注入到扩散模型中？一个朴素的想法是为每个条件配一个ControlNet，但这会显著增加参数量和计算成本。TexADiff借鉴了ControlNext的思想，设计了一个轻量级的MiniControlNet。

它的核心是一个并行条件编码分支加空间特征变换（SFT）层的结构。LR图像和RTDM分别通过独立的编码器提取特征，然后通过SFT层，将RTDM的特征以仿射变换（缩放和偏移）的方式注入到LR特征流中。这种设计非常精巧，参数量仅约2000万，相对于亿级参数的U-Net主体几乎可以忽略不计。

技术细节：SFT层的公式通常是 Output = γ * Feature + β，其中γ和β是由条件特征（此处是RTDM特征）通过一个小网络生成的调制参数。这样，RTDM的信息就能以一种柔和、可学习的方式影响LR特征的表达，告诉模型“在这个区域，请这样去理解LR特征”。

3.3 纹理感知的扩散损失与采样

纹理感知扩散损失（TADL） 这是让模型“聚焦”于纹理丰富区域的关键。标准的扩散模型损失是均方误差（MSE），对所有像素一视同仁。TADL则引入了RTDM作为权重矩阵：

L_TADL = E [ (1 + α * M_b) ⊙ (ε - ε_θ)^2 ]

其中，M_b是二值RTDM，α是放大系数（设为1），⊙是逐元素乘法。这意味着，在M_b=1（纹理丰富）的区域，预测噪声的误差会被放大(1+α)倍，模型在这些区域会承受更大的梯度压力，从而学得更好。

纹理感知动态采样 这是抑制纹理稀疏区域幻觉的“刹车”机制。扩散采样过程早期步骤决定图像的大致布局和内容，后期步骤注入高频细节。TexADiff在采样后期（例如第100到500步），对RTDM标记为0的区域执行“隔步更新”：即这些区域的潜在变量（latent）每隔一步才用新的噪声预测值去更新，中间步保持不变。这相当于减少了纹理稀疏区域的“细节合成”迭代次数，避免了过度加工。

踩坑记录：这个动态采样策略的起止步数需要仔细调整。开始得太早（如第10步），可能会影响图像整体结构的形成；结束得太晚（如最后50步），则抑制幻觉的效果有限。在原论文的配置上，我发现在第150步到第400步之间应用，效果比较稳定。

4. 实验复现与关键环节实现

4.1 环境搭建与数据准备

环境配置 我是在一台配备单张RTX 4090显卡的服务器上进行实验的。基础环境是Python 3.9和PyTorch 2.1.0。需要安装的关键库包括diffusers, transformers, opencv-python, 以及用于评估的piq和lpips库。

BASH
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118
pip install diffusers transformers accelerate opencv-python-headless
pip install piq lpips

数据集处理 TexADiff使用了LoveDA、DOTA和MillionAID的子集，共约30万张图像。对于个人复现或研究，可以从LoveDA或DOTA这类公开数据集开始。关键一步是退化模拟。论文采用了Real-ESRGAN的复杂退化管道，这包括了模糊、下采样、噪声、压缩等多种退化类型的随机组合。为了复现，我直接使用了BasicSR库中Real-ESRGAN的退化生成脚本，这能较好地模拟真实遥感图像的退化过程。

重要提示：数据预处理时，务必确保HR图像是高质量的，且退化流程保持一致。不一致的退化模型会导致训练和测试存在域差异，严重影响效果。建议将退化参数固定并保存下来，用于所有数据的生成。

4.2 模型训练流程详解

  1. Stage 1: 训练RTDM预测网络

    • 输入：LR图像 + PSNR模型生成的P-SR图像。
    • 输出：预测的连续值RTDM（即M图）。
    • 损失：预测M图与真实M图（由HR计算）之间的L1 Loss。
    • 要点：这个网络相对独立，可以先用一小部分数据训练一个基础版本。在后续主模型训练中，可以将其作为固定模块，也可以进行联合微调。

  2. Stage 2: 训练TexADiff主模型

    • 基础模型：加载预训练的Stable Diffusion XL (SDXL)的U-Net部分作为主干。
    • 参数冻结：按照论文，只解冻第一个下采样块和所有上采样块。在代码中，这通常通过遍历模型参数，将不需要训练的参数的 requires_grad 设置为 False 来实现。
    • 条件输入：在每一个训练步，需要准备三样东西：加噪的潜在变量 z_t、低分辨率图像 I_LR、以及从当前批次HR图计算得到的（或预测的）二值RTDM掩码 M_b。
    • 前向传播：I_LR 和 M_b 被送入MiniControlNet，生成控制特征。该控制特征被加到U-Net主干对应层的特征上。同时，M_b 被用于计算加权的TADL损失。
    • 损失计算：总损失是标准的扩散模型噪声预测损失，但用 (1 + M_b) 进行了加权。
    • 训练技巧：采用AdamW优化器，学习率设为1e-5。由于使用了预训练模型，初始阶段损失下降很快，需要密切关注验证集上的感知指标（如LPIPS），防止过拟合。

4.3 推理与采样步骤

推理阶段是TexADiff策略集中体现的环节。

  1. 输入：一张低分辨率遥感图像 I_LR。
  2. 生成P-SR：使用训练好的PSNR模型（如SwinIR）对 I_LR 进行上采样，得到 I_PSR。
  3. 预测RTDM：将 I_LR 和 I_PSR 输入RTDM预测网络，得到预测的RTDM，并经二值化得到掩码 M_b。
  4. 扩散模型采样：
    • 初始化一个与目标HR尺寸对应的随机噪声潜在变量 z_T。
    • 从 t=T 到 t=0 进行迭代去噪。在每一步 t：
      • 将 z_t, I_LR, M_b 以及时间步 t、一个通用的文本提示（如“a satellite photo”）输入到TexADiff模型中，预测噪声 ε_θ。
      • 根据DDIM或DDPM采样器更新潜在变量 z_{t-1}。
      • 关键：在预设的后期采样区间（如 t ∈ [100, 500]），对于 M_b=0 的区域，采用“隔步更新”策略。可以在代码中通过一个条件判断来实现：如果当前步数在区间内且 (T - t) % 2 == 0，则只更新 M_b=1 区域的 z_t，M_b=0 区域保持上一步的值。
  5. 解码：将最终得到的干净潜在变量 z_0 送入VAE解码器，得到最终的高分辨率图像 I_SR。

5. 常见问题、效果分析与避坑指南

5.1 效果对比与指标解读

在LoveDA、DOTA等数据集上的定量实验表明，TexADiff在感知指标LPIPS和DISTS上 consistently 达到 top-2 的水平，这说明它生成的图像在视觉真实性上更胜一筹。值得注意的是，它的PSNR和SSIM指标有时并非最高，这恰恰符合预期：扩散模型为了生成更逼真的纹理，可能会在像素级别上与真实HR有细微偏差，牺牲了一些像素精度，换来了更高的感知质量。

从下方的对比表格可以清晰看到，在纹理复杂的城区场景，TexADiff恢复了更清晰的建筑轮廓和道路纹理；而在纹理平滑的水体区域，它则有效抑制了FaithDiff等方法产生的带状伪影。

方法 纹理丰富区域（建筑） 纹理稀疏区域（水体） 整体感知质量
Real-ESRGAN 纹理生硬，有伪影 尚可，但有时模糊 一般，有GAN的“塑料感”
FaithDiff 细节较好，但有时模糊 容易产生条纹幻觉 不稳定，区域一致性差
PASD 细节丰富，但可能过度 控制力一般 较好，但偶有不自然
TexADiff (Ours) 细节清晰、忠实 平滑，抑制幻觉 高，更符合物理解释

指标选择心得：评估遥感图像超分，不能只看PSNR/SSIM。LPIPS、DISTS这类感知指标，以及人工主观评价更为重要。我们内部做过小范围的盲测，TexADiff在“哪个结果更清晰、更真实”的投票中优势明显。对于严肃的遥感应用（如变化检测、地物分类），将超分结果输入下游任务模型，看mIoU等指标的提升，是最有说服力的验证。

5.2 复现过程中的典型问题与排查

  1. 问题：训练不稳定，损失剧烈震荡。

    • 可能原因：RTDM二值化阈值τ在训练时随机采样，导致条件输入变化过大。TADL损失中权重系数α设置过大，导致梯度爆炸。
    • 排查与解决：
      • 固定τ为一个值（如0.375）进行几轮训练，观察是否稳定。如果稳定，再尝试引入随机性。
      • 将α从1.0逐渐调小，例如设为0.5，观察损失曲线。同时检查梯度裁剪（gradient clipping）是否开启。
      • 检查MiniControlNet的输出特征是否数值正常（无NaN/Inf），过大的特征值也会导致不稳定。

  2. 问题：生成的图像在纹理稀疏区域出现块状或网格状伪影。

    • 可能原因：RTDM预测网络性能不佳，将部分纹理稀疏区域错误标记为丰富区域，导致这些区域被过度处理。动态采样策略的步数区间设置不当。
    • 排查与解决：
      • 可视化推理阶段预测的RTDM。检查水体、天空等平滑区域是否被正确标记为0。如果错误较多，需要重新检查或训练RTDM预测网络。
      • 调整动态采样的起止步数。尝试将开始步数推迟（如从100调到200），或缩短区间长度。
      • 检查VAE解码器。有时问题出在解码阶段，可以尝试使用更稳定的VAE版本，或在解码后加入轻微的高斯滤波进行后处理。

  3. 问题：模型对某些地物类型（如森林、农田）的纹理生成效果不理想。

    • 可能原因：训练数据中该类地物样本不足或多样性不够。RTDM对于这类“中等纹理密度”区域的划分可能不准确。
    • 排查与解决：
      • 分析训练数据集的类别分布，考虑进行数据增强或增加相关样本。
      • 审视RTDM的生成逻辑。对于森林这类有细密纹理但整体均匀的区域，当前的二值化可能过于绝对。可以尝试将RTDM从二值改为三值（稀疏、中等、丰富），或者使用连续值（但需解决训练稳定性问题）。
      • 这是一个算法局限，可能需要更精细的纹理度量方式。

5.3 参数调优与扩展思考

  • RTDM阈值τ：这是控制“纹理丰富”与“纹理稀疏”分界线的关键。论文采用[0.35, 0.4]的随机采样是一种正则化手段，防止模型过拟合某个固定阈值。在实际应用中，可以根据目标场景调整。对于城市密集区为主的图像，可以尝试稍低的阈值（如0.33），让更多区域被重点恢复；对于旷野居多的图像，可以尝试稍高的阈值（如0.42），让模型更“保守”。
  • MiniControlNet的深度与宽度：当前设计为了轻量化，可能限制了多条件融合的能力。如果计算资源允许，可以适当增加其层数或通道数，观察性能提升与耗时增加的性价比。
  • 扩展到其他模态：TexADiff的思想并不局限于光学遥感图像。对于SAR图像（合成孔径雷达）、高光谱图像，其“纹理不平衡”的问题同样存在，甚至更复杂（如SAR的相干斑噪声）。可以尝试将RTDM的构建方式适配到这些模态（例如，利用SAR图像的相干系数图来指示纹理活跃度），将TexADiff框架作为一个通用的“空间自适应感知”插件来使用。

我个人在实验中发现，TexADiff最大的启发不在于它刷了多高的分数，而在于它提供了一种显式引入空间先验来引导生成模型的范式。在AIGC时代，我们往往过于依赖数据驱动，让模型自己从海量数据中学习一切。但像遥感、医疗、工业检测这类具有强领域知识的任务，将人类的认知（如“这里该细节丰富，那里该平滑”）以一种可计算、可注入的方式告诉模型，往往能取得事半功倍的效果。TexADiff中的RTDM，就是这种领域知识的一种优雅表达。