天文图像无监督去噪：AstroSURE框架原理、评估与实践

1. 项目概述：当深度学习遇见星空

处理天文图像，本质上是在和宇宙的“信使”玩一场高难度的捉迷藏。我们接收到的每一帧数据，都混杂着来自探测器、宇宙射线、大气扰动以及仪器本身的各种噪声。对于像我这样常年泡在望远镜数据里的从业者来说，最头疼的往往不是算法不够先进，而是根本没有“标准答案”——我们几乎不可能获得一张完全无噪的“干净”宇宙图像作为训练目标。传统的监督学习方法在这里遇到了瓶颈，因为你无法为哈勃望远镜拍摄的某个遥远星系准备一张“完美”的对照图。

这正是AstroSURE框架试图解决的核心痛点。它不是一个全新的神经网络结构，而是一套训练策略和评估体系，专门为天文图像这种“缺标准答案”的场景量身定制。其核心思想是：既然拿不到干净的“真值”（Ground Truth），那我们能不能直接从两幅甚至一幅有噪声的图像里，教会模型什么是“信号”，什么是“噪声”？答案是肯定的，这背后依赖的是Noise2Noise和SURE（Stein‘s Unbiased Risk Estimator）等无监督或弱监督学习范式。简单来说，Noise2Noise假设你可以拿到同一片天区的两次独立噪声观测，让模型学会从一幅噪声图像预测另一幅的噪声，从而间接学会去噪；而SURE则更“极端”，它允许你只凭单张噪声图像，通过一个巧妙的风险估计器来指导训练。

这篇文章，我就结合自己的实操经验，为你深入拆解AstroSURE这套框架。我们不仅会看它怎么工作，更会聚焦于一个经常被忽视但至关重要的问题：如何评价一个去噪模型的好坏？ 当没有干净图像可对比时，PSNR、MAE这些传统指标还管用吗？我们该如何多维度地评估去噪效果，确保它真的帮助了科学发现，而不是仅仅让图片“看起来”更漂亮？我会带你逐一剖析论文中提到的近十种评估指标，分享在实际数据处理中如何选择和解读它们，并还原我们在复现和优化这套方法时踩过的坑和收获的经验。

2. 核心原理：无监督去噪为何在天文领域成为可能

2.1 天文图像噪声的独特性与挑战

在自然图像处理中，噪声通常被建模为加性高斯白噪声，其特点是均值为零、方差恒定，且像素间独立。但天文图像的噪声构成要复杂得多，主要包含以下几种：

1. 光子噪声（泊松噪声）：源于光子到达探测器的量子过程，其方差等于信号强度。这是天文图像中最根本的噪声，无法避免。
2. 读出噪声：探测器在读取电荷时引入的电子学噪声，通常建模为加性高斯噪声。
3. 暗电流噪声：由探测器热效应产生，也服从泊松分布。
4. 天空背景噪声：来自大气辉光、月光、光污染等，其强度和分布随时间和位置变化。
5. 宇宙线击中：高能粒子撞击探测器产生的瞬时、高亮度的尖峰噪声。

这种复杂的混合噪声，且噪声水平与信号本身相关（即信号依赖噪声），使得许多为自然图像设计的去噪算法直接迁移过来会“水土不服”。更关键的是，我们无法通过长时间曝光叠加多帧图像来获得绝对干净的“真值”，因为天体本身可能变化（如变星、活动星系核），且观测时间成本极高。

2.2 Noise2Noise：从“噪声到噪声”的学习智慧

Noise2Noise的思想非常巧妙。假设我们对同一个不变的天体场景进行了两次独立的观测，得到两张噪声图像 y₁ 和 y₂。它们都满足 y = x + n，其中x是未知的干净信号，n是独立的噪声。在训练时，我们不是让网络学习从y₁到x的映射（这需要x），而是学习从y₁到y₂的映射。

这听起来反直觉：为什么要让网络学习输出另一张噪声图？关键在于损失函数。如果我们使用L2损失（均方误差），网络会学会输出y₁在给定y₂条件下的条件期望，即 E[y₂ | y₁]。当噪声n的均值为零时，这个条件期望恰恰就是干净信号x。也就是说，通过让网络拟合另一个独立的噪声实例，它被迫抓住了信号中稳定的部分，而忽略了随机波动的噪声。在实际操作中，对于天文数据，我们可以利用同一片天区在不同时间、甚至同一巡天项目中的不同曝光帧来构造这样的“噪声对”。

实操心得：构造有效的Noise2Noise训练对，关键在于确保两帧图像间的噪声是真正独立的，而天体信号是严格对齐的。这需要精密的测光定标和图像配准。我们通常使用Astrometry.net或SCAMP进行星表匹配和WCS（世界坐标系）对齐，再用SWarp进行重采样和叠加前的配准，确保像素级对齐。任何残留的配准误差都会被网络视为“噪声”，从而影响学习效果。

2.3 SURE：单张图像的无监督训练利器

当连两幅对齐的噪声图像都难以获得时（例如，处理某个天体的唯一深度曝光），SURE框架就派上了用场。SURE为估计器的均方误差（MSE）提供了一个无偏估计，而这个估计值只需要噪声观测数据本身，不需要干净真值。

对于去噪问题 f(y) = ˆx，其MSE为 E[||ˆx - x||²]。SURE给出其无偏估计为： SURE = ||y - f(y)||² - σ² + 2σ² ∇·f(y) 其中，σ²是噪声方差，∇·f(y)是去噪函数f在y处的散度（divergence），可以理解为f的“敏感度”或有效自由度。

这个公式的威力在于，我们可以直接用SURE作为损失函数来训练网络，即使我们不知道x。训练目标是最小化SURE，理论上就等价于最小化真实的MSE。实现SURE损失的关键在于高效计算网络输出的散度。对于复杂的深度网络，直接计算解析散度非常困难。论文中通常采用蒙特卡洛近似方法：向输入y注入一个微小的高斯扰动 ε ~ N(0, δ²I)，然后计算： ∇·f(y) ≈ (1/δ²) εᵀ (f(y+ε) - f(y)) 这需要在每个训练步骤中进行一次额外的前向传播，计算开销大约翻倍，但换来了无需配对数据的巨大灵活性。

注意事项：SURE损失的有效性严重依赖于噪声方差σ²的准确估计。如果σ²估计不准，SURE将不再是MSE的无偏估计，训练会跑偏。对于天文图像，我们通常需要在每个局部区域估计噪声水平，因为噪声往往是信号依赖的（泊松噪声）。一个实用的方法是，先在图像中挑选背景天空区域（通过Sigma clipping或SExtractor的背景估计），计算其像素值的方差作为全局σ²的初始估计，或者在训练中将其作为一个可学习的参数。

2.4 网络架构选择：效率与性能的平衡

AstroSURE论文中对比了多种网络，如U-Net、DnCNN、Restormer等。一个关键的结论是：没有一种架构在所有指标上全面胜出，选择取决于你的优先级。

• U-Net及其变体：编码器-解码器结构，带有跳跃连接，能有效融合多尺度特征。它在保持细节和计算效率之间取得了很好的平衡，是天文图像处理中的“常青树”。论文中采用的“修改版U-Net”（如将转置卷积上采样改为最近邻或双线性上采样）进一步减少了棋盘伪影，训练速度更快。
• DnCNN：深度残差网络，专注于学习噪声残差（即输出 = 输入 - 噪声）。结构相对简单，但在处理复杂、非平稳的天文噪声时，性能可能不如U-Net。
• Restormer：基于Transformer的架构，利用自注意力机制捕捉长程依赖。它在PSNR等像素级指标上表现优异，但模型参数量大，训练和推理所需的计算资源和时间（论文中显示超过80小时）是U-Net的十几倍。

对于大多数天文数据处理项目，特别是需要快速迭代或处理海量巡天数据时，修改版U-Net通常是性价比最高的选择。它提供了接近最先进模型的性能，同时保持了可管理的训练成本和易于部署的特性。

3. 评估指标全景解读：超越“看起来不错”

评估去噪效果，尤其是无监督去噪，绝不能只看处理后的图像是否“顺眼”。我们需要一套定量、多维度的指标体系，从像素精度、统计特性到最终的科学产出（如天体检测）进行综合评判。AstroSURE论文中罗列的指标非常全面，我将它们分为三大类进行解读。

3.1 像素级保真度指标（需干净真值）

这类指标需要干净的参考图像u和去噪估计图像ũ，适用于有模拟数据（仿真图像）验证的场景。

• 均方误差与峰值信噪比：

  • MSE：最直接的误差衡量，计算所有像素差值的平方均值。它对大的误差非常敏感。
  • PSNR：基于MSE，但转换为分贝（dB）尺度，更符合人对图像质量的感知习惯。公式为 PSNR = 10 * log10(MAX² / MSE)，其中MAX是像素最大值（如16位图像为65535）。PSNR越高越好。一个经验法则是，PSNR高于30dB通常认为图像质量可接受，高于40dB则质量很好。论文中，去噪后的图像PSNR能从噪声图的~70dB提升到80-90dB，提升显著。

• 平均绝对误差：

  • MAE：计算像素差值的绝对值的均值。相比MSE，MAE对大误差的惩罚更线性，不那么敏感。在实际天文图像处理中，MAE往往比MSE更具参考价值，因为天文图像中经常存在少数极亮的像素（如恒星核心、活动星系核），MSE会被这些极少数像素主导，而MAE能更好地反映整体误差水平。论文结果也显示，使用L1损失（与MAE相关）训练的模型，通常在MAE和天体检测率上表现更好。

• 信噪比：

  • SNR：在图像处理中，通常定义为 SNR = μ_signal / σ_noise，即信号区域均值与噪声区域标准差的比值。它直观反映了信号相对于背景起伏的显著程度。去噪的核心目标就是提升SNR。

3.2 分布与感知质量指标（部分无需真值）

这类指标评估去噪图像的整体统计特性或视觉感知质量。

• KL散度：

  • 将归一化的图像视为概率分布，计算去噪图像分布P与真实干净图像分布Q之间的KL散度。D_KL(P||Q)衡量用P来近似Q所损失的信息量。值为0表示两者分布完全一致。KL散度能敏锐地捕捉去噪过程是否系统性地改变了图像的全局强度分布，例如是否过度平滑导致暗弱天体信息丢失，或是否引入了虚假的亮度偏置。这是评估科学数据保真度的一个关键指标。

• 自然图像质量评价器：

  • NIQE：一种无参考图像质量评价指标。它通过在大量自然清晰图像上训练一个多元高斯模型，来捕捉“自然”图像的统计特征（如局部亮度、对比度、梯度分布的规律性）。然后计算待评估图像特征与这个先验模型的差异。NIQE值越低，表示图像越符合“自然”图像的统计特性，通常感知质量更高。对于没有真实干净图像的天文数据，NIQE是一个非常重要的辅助评估工具，可以判断去噪后的图像是否看起来“不自然”或存在明显伪影。

• 无监督PSNR：

  • uPSNR：这是论文中一个非常有趣的指标，旨在在没有干净真值的情况下估计PSNR。其核心思想是利用多幅独立噪声图像。公式基于无监督MSE估计：uMSE = 1/(mn) * Σ [ (y' - f(y))² - (y'' - y''')² ] / 2。这里需要同一场景的四幅独立噪声观测y, y', y'', y'''。通过巧妙的减操作，可以抵消掉噪声项，得到对真实MSE的估计。当只有单幅图像时，可以通过在图像内划分网格、假设局部相似性来近似生成多幅“观测”，但这会引入偏差。uPSNR为在真实观测数据上定量评估去噪效果提供了可能。

3.3 科学产出级指标：天体检测性能

对于天文应用，去噪的终极目标是提升科学发现能力，例如检测更暗、更多的天体。因此，基于天体检测算法的性能指标至关重要。

• 正确检测率：

  • CDR：被成功检测并匹配到的真实天体数量，占天区中真实天体总数的比例。这是核心的效能指标，直接衡量去噪是否提升了探测深度。

• 误报率：

  • FAR：被检测到但无法与任何真实天体匹配的“假天体”数量，占检测到的天体总数的比例。这衡量了去噪引入虚假信号的程度。在追求高CDR的同时，必须控制FAR在一个可接受的低水平（例如<1%）。

• 检测数量：

  • 检测算法找到的天体总数。需要结合CDR和FAR一起看。单纯检测数量多，可能意味着FAR很高。

实操流程：通常使用SExtractor或SourceExtractor进行天体检测。评估时，需要一个可靠的参考星表作为“真实天体”列表。将去噪后图像的检测结果与参考星表进行交叉匹配（常用STILTS工具，匹配半径如1角秒）。匹配上的即为正确检测，未匹配上的检测即为误报。通过调整SExtractor的检测阈值（如DETECT_THRESH参数），可以绘制出CDR随FAR变化的曲线（类似ROC曲线），全面评估不同去噪模型在不同灵敏度下的表现。论文中的图7正是这样的分析，清晰展示了去噪图像在CDR-FAR权衡上显著优于原始噪声图像。

4. 实验分析与实战经验复盘

4.1 训练策略的深度对比与选择

论文在合成数据上系统比较了多种训练策略，结论对于工程实践具有直接指导意义。

1. Noise2Noise vs. Noise2Clean：令人振奋的是，在拥有成对噪声图像的情况下，Noise2Noise的性能可以非常接近甚至在某些指标上媲美需要干净真值的全监督学习（Noise2Clean）。这打破了“必须有干净数据才能训练好模型”的思维定式。Noise2Noise之所以有效，是因为学习从噪声到噪声的过程，本身对模型起到了一种正则化作用，防止其过拟合到训练数据中可能不完美的“伪干净”标签上，从而可能获得更好的泛化能力。

2. SURE的单图像学习：在只有单张噪声图像的极端情况下，SURE框架展现出了强大的潜力。虽然其绝对性能略低于Noise2Noise，但远优于直接使用噪声图像，且显著优于其他一些单图像无监督方法（如Noise2Self）。SURE是处理珍贵、独一曝光的深场天文图像时的首选方案。

3. L1损失 vs. L2损失：这是一个关键发现。在所有对比实验中，使用L1损失（MAE）训练的模型，在MAE指标、KL散度以及最重要的天体检测率上， consistently优于使用L2损失（MSE）的模型。L2损失由于对大的误差平方惩罚，会迫使网络倾向于输出“安全”的、平滑的结果，这容易导致暗淡的星云或星系外围细节被抹去。而L1损失对误差的惩罚更线性，能更好地保留这些微弱的信号边缘和结构，这对天体检测和后续的光谱、形态分析至关重要。在天文图像去噪任务中，应优先考虑L1损失。

4. Noise2Self与Noise2Same的局限性：论文中指出，Noise2Self和Noise2Same方法在天文图像上效果不佳，甚至失败。原因在于这些方法依赖于对图像像素进行掩膜，并让网络根据周围像素预测被掩膜的中心像素。这对于自然图像中纹理重复的区域是有效的，但天文图像背景黑暗、信号稀疏且孤立，像素间缺乏足够的空间冗余性。掩膜后，网络缺乏足够的信息来重建被掩膜的像素（尤其是信号像素），导致梯度信号微弱，训练失败。这提醒我们，不能盲目套用计算机视觉领域的最新方法，必须考虑天文数据本身的特性。

4.2 数据预处理与域适应的关键细节

论文附录B提到了一个容易被忽视但影响巨大的细节：数据缩放与裁剪。

• 缩放的影响：作者比较了多种预处理方式：除以最大值（0-1归一化）、标准化（零均值、单位方差）、反双曲正弦变换等。结果发现，对于他们的16位天文数据，最好的方式竟然是“不进行缩放”，仅将像素值保持在原始范围（0-65535），但对网络输出进行裁剪。这看似违背了深度学习数据标准化的常规操作。
• 原因分析：天文图像的动态范围极大，背景天空值可能只有几十个ADU（模拟数字单位），而亮星的核心可能达到数万ADU。简单的全局缩放（如归一化到0-1）会极大地压缩背景区域的对比度，使得微弱的信号在数值上变得微不足道，网络难以学习。保持原始数值范围，让网络直接学习处理这种巨大的动态范围，反而能保留更多的物理信息。
• 输出裁剪：在训练时，将网络输出的像素值裁剪到合理的物理范围（如0-65535），可以稳定训练过程，防止梯度爆炸，并确保输出图像是有效的物理测量值。

避坑指南：当你将在一个数据集上预训练的模型，应用到另一个望远镜或波段的图像时（例如从哈勃空间望远镜数据训练的模型应用到地基CFHT数据），域适应问题会非常突出。论文中在真实数据上的实验清晰地表明了这一点：在空间域的HST数据上微调效果显著，但在地基的CFHT数据上提升有限。这是因为两者在点扩散函数、天空背景、噪声特性上存在本质差异。最佳实践是，尽可能使用与目标数据观测条件相似的模拟数据或真实噪声数据进行预训练或初始化。如果做不到，则需要准备一个目标领域的小规模数据集，利用SURE等无监督方法进行充分的微调。

4.3 从合成数据到真实数据的性能迁移

论文在合成数据和真实数据（HST, CFHT）上的实验，为我们描绘了一幅完整的性能图景：

1. 合成数据验证可行性：在可控的仿真环境中，AstroSURE框架（特别是Noise2Noise和SURE）在像素级指标（PSNR, MAE）和科学级指标（CDR, FAR）上均显示出对原始噪声图像的巨大提升。这证明了方法的理论基础是坚实的。

2. HST数据：成功的域内迁移：HST是空间望远镜，其成像条件（无大气干扰、点源尖锐）与用于训练的“类罗马望远镜”空间模拟数据较为接近。在此基础上的SURE微调，取得了uPSNR提升约7.7dB、CDR从31.12%提升至35.72%的显著效果。这说明，当预训练域与目标域相似时，无监督微调非常有效。

3. CFHT数据：域间隙的挑战：CFHT是地基望远镜，受大气视宁度影响，星像会弥散，天空背景也更亮、更复杂。直接将空间模拟数据预训练的模型用于CFHT，性能提升微乎其微（uPSNR仅提升0.34dB，CDR提升0.5%）。这清晰地表明，域间隙是实际应用中的主要障碍。

给实践者的建议：如果你计划为某个特定望远镜或巡天项目构建去噪流程，最稳妥的路径是：

• 第一步：尽可能使用该仪器的模拟器（如Galsim）生成大量仿真的干净-噪声图像对。用这些数据以Noise2Clean或Noise2Noise方式训练一个基准模型。
• 第二步：收集该仪器的一批真实观测数据（无需干净真值）。使用上一步得到的模型权重进行初始化，然后用SURE损失在这些真实数据上进行无监督微调。
• 第三步：在另一批独立的真实数据上，使用uPSNR、NIQE以及基于星表的CDR/FAR指标来评估最终模型的效果。

5. 工程实现要点与常见问题排查

5.1 训练流程与超参数设置

基于论文和我们的复现经验，一个典型的AstroSURE训练流程如下：

1. 数据准备：

   • 合成数据：使用Galsim等工具生成星系、恒星场，并叠加复杂的噪声模型（泊松+高斯，并考虑增益、读出噪声等）。
   • 噪声对生成：对于Noise2Noise，为每个干净图像生成两幅独立的噪声实例。
   • 数据加载：使用PyTorch的DataLoader，注意确保在加载噪声对时，两者是真正独立的随机种子生成的。

2. 网络架构：实现论文中的“修改版U-Net”。关键修改包括：将编码器中的最大池化替换为步幅卷积进行下采样；将解码器中的转置卷积上采样替换为双线性插值上采样+卷积，以避免棋盘伪影；使用残差连接。

3. 损失函数：

   • Noise2Noise：L1Loss(pred_noisy2, noisy2) 或 MSELoss(pred_noisy2, noisy2)。
   • SURE：需要实现SURE损失函数，包括噪声方差估计和蒙特卡洛散度近似。
   PYTHON 复制

   1

   # 简化的SURE损失PyTorch伪代码

   2

   def sure_loss(y, denoised, sigma_est, epsilon=1e-3):

   3

   # y: 噪声输入 [B, C, H, W]

   4

   # denoised: 网络去噪输出 [B, C, H, W]

   5

   # sigma_est: 估计的噪声标准差（可以是标量或与y同形的张量）

   6

   # epsilon: 用于蒙特卡洛近似的小扰动幅度

   7

   batch_size = y.shape[0]

   8

   9

   # 第一项：残差平方和

   10

   residual = y - denoised

   11

   term1 = torch.mean(residual**2)

   12

   13

   # 蒙特卡洛估计散度

   14

   # 生成随机扰动

   15

   noise = torch.randn_like(y) * epsilon

   16

   y_perturbed = y + noise

   17

   denoised_perturbed = model(y_perturbed) # 需要额外一次前向传播

   18

   # 计算 inner product

   19

   inner_prod = torch.sum(noise * (denoised_perturbed - denoised), dim=[1,2,3]) / (epsilon**2)

   20

   term_div = torch.mean(inner_prod) / (y.shape[2] * y.shape[3]) # 平均到每个像素

   21

   22

   # SURE 估计

   23

   sure = term1 - sigma_est**2 + 2 * sigma_est**2 * term_div

   24

   return sure

4. 优化器与调度器：使用Adam优化器，初始学习率设为1e-4。配合ReduceLROnPlateau调度器，当验证损失停滞时降低学习率。使用梯度裁剪防止训练不稳定。

5. 评估与验证：在训练过程中，除了监控损失，还要在保留的验证集上定期计算PSNR、SSIM（如果可能）等指标。对于无监督训练，可以计算uPSNR或NIQE来间接评估。

5.2 典型问题与解决方案速查表

5.3 关于未来方向的个人思考

AstroSURE框架为我们打开了一扇门，但前方仍有不少挑战。论文末尾提到的“结构化噪声”是下一个硬骨头。宇宙线、卫星轨迹、探测器坏列、光学鬼影等，这些都不是简单的随机噪声，而是具有特定形态和空间相关性的污染。处理它们更像是一个“图像修复”问题。

我认为一个可行的方向是将AstroSURE与掩膜建模结合。例如，我们可以先用传统算法（如L.A.Cosmic）检测出宇宙线，生成一个二值掩膜。在训练时，将掩膜区域从损失计算中排除，或者让网络同时学习去噪和修复。对于更复杂的、时变的结构化噪声（如大气湍流导致的动态斑纹），可能需要引入视频或序列处理的方法，利用时间维度的信息进行分离。

此外，评估体系也需要继续完善。NIQE是基于自然图像训练的，其“自然性”先验是否完全适用于星空图像？或许我们需要构建一个“天文图像质量评估”数据集，学习天文学家偏好的图像统计特征。同时，将评估更紧密地与下游科学任务挂钩，例如，去噪后的图像对星系形态分类、光度测量、弱引力透镜剪切测量的精度提升有多少？这些才是最终衡量去噪价值的“金标准”。