INTENT：基于因果干预与动态决策边界的鲁棒组合图像检索方法

组合图像检索噪声鲁棒性因果干预

于 2026-06-02 03:01:11 修改

·本内容遵循CC 4.0 BY-SA版权协议

1. 项目概述与核心挑战

组合图像检索（Composed Image Retrieval, CIR）这个领域，这几年火得不行。简单来说，它干的活儿就是：你给一张参考图，再给一段描述怎么改的文字，比如“把这只狗的毛色从棕色换成白色，并且让它坐在沙发上”，模型就得从海量图库里，精准地给你找出那张符合你所有描述的目标图片。这比传统的“以图搜图”或者“以文搜图”灵活太多了，因为它能理解并执行“修改”这个动作，而不是简单的相似性匹配。

听起来很美好，对吧？但真正干过这行的都知道，这里头有个“脏活累活”一直没被好好解决：数据标注噪声。理想情况下，我们训练模型用的每一个三元组（参考图、修改文本、目标图）都应该是完美匹配的。但现实是，人工标注成本高、主观性强，大规模数据集里不可避免地混入了大量“错配”的样本。比如，标注员可能手滑，把一张“戴帽子的猫”的图，配上了“给猫加上眼镜”的文本；或者参考图背景过于复杂，文本只描述了主体对象的改变，但模型却被无关的背景信息带偏了。

这些噪声，我们把它掰开揉碎了看，主要就两类：

模态内噪声：问题出在单个模态内部。最常见的就是参考图片里的“背景干扰”。比如文本说“把桌子上的苹果换成香蕉”，但图片里除了苹果和桌子，还有一只猫、一盏台灯、一堆书。这些无关的视觉元素就是噪声，它们和修改意图半毛钱关系没有，却会在模型提取特征时“刷存在感”，干扰最终组合特征的生成。
跨模态对应噪声：这是“根子上的错误”，即参考图、修改文本和目标图这三者之间，从语义上就不匹配。标注本身就是错的。比如参考图是一只柯基，文本说“变成一只站立的杜宾犬”，但给的目标图却是一只坐着的哈士奇。模型要是强行去拟合这种错误样本，学到的就是错误的映射关系，泛化能力必然完蛋。

现有的很多CIR模型，要么假装数据是干净的，闷头训练；要么只关注了第二类噪声（跨模态错误），用一些样本筛选或重加权的方法。但对于第一类噪声（模态内干扰），大家要么视而不见，要么假设跨模态交互能自动抑制它——这在标注本身就有错的情况下，无异于火上浇油。

更头疼的是决策边界问题。传统方法用对比学习，简单粗暴地拉近正样本、推远负样本。但在噪声数据里，你以为是“正样本”的可能是个冒牌货，你使劲拉近它，反而把模型带沟里去了。而且，相似度得分高就一定对吗？不一定。对于视觉简单的样本，70%的相似度可能都算低了；对于视觉复杂的样本，50%的相似度或许已经足够说明问题。用一个固定的、僵硬的阈值（硬决策边界）去判断所有样本，显然不合理。

所以，我们做INTENT这个项目，就是想系统性地解决这两个痛点：如何让模型在组合特征时“聪明地”忽略图片里的无关噪声？以及，如何在充满错误标注的数据里，学会一个更灵活、更鲁棒的判别标准？ 下面，我就把我们的解决思路和实现细节，掰开揉碎了讲清楚。

2. INTENT框架设计思路拆解

面对模态内噪声和僵硬的决策边界这两个核心挑战，我们的设计哲学是“分而治之”与“动态适应”。整个INTENT框架可以看作两把精准的手术刀，各自处理一个核心问题，最后协同工作。

2.1 视觉不变性组合：用因果干预“过滤”背景噪声

第一个模块，视觉不变性组合，专治模态内噪声。它的核心思想是：让模型学会关注“变”中的“不变”。

我们是这样思考的：一张参考图片I，可以看作由两部分构成——真正的因果因子C（即文本想要修改的那些语义内容，比如“狗的品种”、“衣服的颜色”）和伪相关因子S（也就是噪声，比如背景的草地、无关的家具、光照等）。在理想的数据里，S不应该影响组合过程。但现实中，模型很容易被S带偏。

直接让模型把C和S在特征层面解耦开，非常困难，属于“特征解耦”的经典难题，控制不好容易伤及语义本身。于是我们换了个思路：我们不试图精确分离C和S，而是通过干预，让模型学会，无论S怎么变，只要C不变，组合出的特征就应该保持一致。这就是“视觉不变性”的学习。

如何制造这种“S变而C不变”的样本对呢？我们想到了频域干预。一张图片，经过快速傅里叶变换后，会得到频谱图。频谱中的幅度谱主要捕获的是纹理、风格等低频统计信息（很大程度上对应我们想改变的噪声S），而相位谱则决定了图像的结构和轮廓（对应我们想保留的核心语义C）。

实操心得：为什么选FFT而不是直接在像素空间做数据增强（如裁剪、颜色抖动）？因为像素空间的增强很容易改变核心语义（比如裁剪可能把狗尾巴切掉），而频域混合幅度谱，能在更大程度上保持物体的整体结构和轮廓不变，只改变其纹理风格，这更符合我们“改变噪声、保留因果”的假设。

具体操作上，对于一批数据中的每张参考图x_r，我们随机从数据集中选一张不相关的图片x_d。对两者做FFT，得到它们的幅度谱A_r和A_d。然后，我们只对幅度谱的中心区域（代表低频信息）进行随机比例的混合：Â_r = λ * A_d_crop + (1-λ) * A_r_crop。这里λ是一个0到1之间的随机数。最后，用原图x_r的相位谱θ_r和混合后的幅度谱Â_r，做逆FFT，重构出一张新的“反事实”图像ˆx_r。

这个过程好比给图片“换了个皮肤”但“骨架没变”。ˆx_r看起来可能纹理、颜色和原图x_r不同了（噪声S变了），但狗还是那只狗，桌子还是那张桌子（因果C没变）。接着，我们分别用原图x_r和反事实图ˆx_r，与同一个修改文本y_m，通过一个共享参数的Q-Former（我们用的是BLIP-2的预训练权重）进行多模态融合，得到两个组合特征：F_c 和 ˆF_c。

关键来了：我们要求这两个组合特征在语义上高度一致。怎么衡量一致性？我们没用简单的L1/L2损失，因为它们衡量的是逐点的差异。我们用的是中心核对齐损失。简单来说，CKA计算的是两个特征集合内部样本关系结构的一致性。我们先计算F_c和ˆF_c各自的格拉姆矩阵（Gram Matrix），然后中心化，最后计算它们之间的CKA相似度作为损失L_caco。这个损失会驱使模型，无论输入的参考图被施加了何种风格的干扰，只要文本指令相同，它组合出的高层语义特征就应该是一致的。这就迫使模型去忽略那些变化的、无关的视觉噪声，聚焦于不变的、因果的语义内容。

2.2 双目标判别学习：构建“察言观色”的决策边界

第二个模块，双目标判别学习，用来对付跨模态对应噪声和僵硬的决策边界。它的核心思想是：不盲目相信标注的正样本，也不武断地排斥所有负样本，而是根据批次内的整体情况，动态调整对每个样本的“信任度”。

传统的InfoNCE损失函数，可以看作一个“正样本中心化”的学习目标，它假设对角线上的样本对（query-target）就是绝对正确的，使劲拉近它们。但在有噪声的情况下，这很危险。因此，我们设计了一个鲁棒对比损失 L_robust。这个损失函数的关注点变了：它不再强调“拉近正样本”，而是着重于“推远负样本”。其公式形式是对InfoNCE的一个改造，核心是最大化 1 - softmax(正样本相似度)。这意味着，即使某个正样本对是噪声，模型错误地给了它较高的相似度，这个损失也会因为要最大化1-概率而试图降低这个相似度，从而起到纠正作用。它的抗噪性更强，因为把错误的正样本推远的伤害，通常小于把正确的负样本拉近。

但光“推远负样本”还不够，我们还需要主动地“识别并拉近那些真正正确的对应关系”。为此，我们提出了一个基于忠诚度的可扩展决策边界。

首先，对于一个批次内的所有查询-目标对，我们计算一个相似度矩阵S。对于第i个查询，我们不仅看它与标注的正目标（对角线）的相似度p_i^+，还看它与批次内其他所有目标（负样本）的最大相似度p_i^-。这两个值反映了当前查询的匹配情况：如果p_i^+很低，说明标注的正样本可能不靠谱；如果p_i^-也很低，说明这个查询在当前批次里没有特别像的干扰项，那么它的正样本很可能就是干净的。

基于这个观察，我们设计了两种权重奖励：

负样本权重奖励：当p_i^+很低（即对正样本没信心）时，我们提高所有负样本的权重。因为此时真正的对应关系可能藏在负样本里，我们需要更用力地把这些潜在的“假负样本”推开。
正样本权重奖励：当p_i^-很低（即负样本干扰很弱）时，我们提高正样本的权重。因为此时环境“干净”，我们可以更自信地拉近这个正样本对。

具体实现上，这两种奖励会与原始相似度矩阵S结合，形成一个忠诚度矩阵 L = (S + N + R) / 2。L中的每个元素l_ij，可以理解为模型对“第i个查询与第j个目标是正确匹配”这一事件的动态置信度。最后，我们基于这个忠诚度矩阵L，构造一个软判别损失 L_sod，它本质上是一个带权重的交叉熵损失，鼓励模型对高忠诚度的配对给予高置信度。

避坑指南：这里超参数µ（平衡L_robust和L_sod）和α（L_caco的权重）需要仔细调。我们的经验是，在噪声率较高（如50%）的数据集上，L_robust的权重可以相对高一些，让模型更保守；在噪声率较低时，可以适当提高L_sod的权重，让模型更积极地去拟合可能的正确对应。我们通过网格搜索，最终在实验中设定µ=0.2, α=0.6，取得了较稳定的效果。

最终，INTENT的总损失函数是这三者的加权和：L_total = L_robust + µ * L_sod + α * L_caco。整个框架让模型同时学会了“无视干扰”和“精明判别”。

3. 核心模块实现细节与实操要点

理解了整体框架，我们深入到代码实现层面，看看几个关键部分具体怎么做，以及有哪些容易踩的坑。

3.1 频域干预的工程实现

频域干预是VIC模块的基石，实现起来有几个细节需要注意：

PYTHON

import torch

import torch.fft

def fft_intervention(x_ref, x_irrelevant, lambda_ratio=0.5):

"""

对参考图像进行基于FFT的干预，生成反事实图像。

Args:

x_ref: 参考图像，形状 [C, H, W]

x_irrelevant: 不相关图像，形状 [C, H, W]

lambda_ratio: 混合比例，控制干预强度

Returns:

x_counterfactual: 反事实图像

"""

# 1. 执行2D FFT，得到频谱 (复数张量)

# torch.fft.fft2 输出形状 [C, H, W]， dtype=complex

fft_ref = torch.fft.fft2(x_ref)

fft_irr = torch.fft.fft2(x_irrelevant)

# 2. 获取幅度谱和相位谱

amp_ref = torch.abs(fft_ref) # 幅度谱

phase_ref = torch.angle(fft_ref) # 相位谱

amp_irr = torch.abs(fft_irr)

# 3. 对幅度谱中心区域进行混合

# 通常我们只混合低频部分（图像中心区域）

c_h, c_w = H // 2, W // 2

r = 32 # 干预区域半径，超参数，通常取图像尺寸的1/8到1/4

h_start, h_end = c_h - r, c_h + r

w_start, w_end = c_w - r, c_w + r

# 创建干预后的幅度谱副本

amp_mixed = amp_ref.clone()

# 混合中心区域

amp_mixed[..., h_start:h_end, w_start:w_end] = \

lambda_ratio * amp_irr[..., h_start:h_end, w_start:w_end] + \

(1 - lambda_ratio) * amp_ref[..., h_start:h_end, w_start:w_end]

# 4. 用混合后的幅度谱和原图的相位谱重构复数频谱

fft_mixed = amp_mixed * torch.exp(1j * phase_ref)

# 5. 逆FFT得到反事实图像

x_counterfactual = torch.fft.ifft2(fft_mixed).real

# 确保像素值在合理范围内（如[0,1]或[-1,1]）

x_counterfactual = torch.clamp(x_counterfactual, min=x_ref.min(), max=x_ref.max())

return x_counterfactual

实操要点与避坑：

干预区域大小：参数r决定了干预的强度。太小了干预效果不明显，太大了可能会破坏过多语义。我们通过实验发现，对于224x224的输入，r=32是一个不错的起点。你可以将其设置为图像尺寸的函数，例如 r = H // 7。
混合比例λ：我们是在每个batch中为每对图片随机采样一个λ，例如从均匀分布U(0.3, 0.7)中采样。固定的λ可能导致模型适应特定的混合强度，随机化能增强鲁棒性。
相位谱的重要性：绝对不要动相位谱。我们的实验表明，一旦相位谱被改变，重构的图像会变得无法识别，严重损害核心语义。幅度谱承载的风格信息才是我们想要干预的“噪声”。
数值稳定性：逆FFT后得到的实部图像可能会有极小的虚部残留（由于数值误差），用.real取实部即可。 clamping操作可以防止溢出，但要注意归一化范围。

3.2 因果一致性损失的计算

CKA损失的计算需要一些线性代数的操作，高效实现很关键。

PYTHON

def causal_consistency_loss(F, F_hat):

"""

计算基于CKA的因果一致性损失。

Args:

F: 原始组合特征，形状 [B, Q, D]

F_hat: 反事实组合特征，形状 [B, Q, D]

Returns:

loss_caco: 标量损失值

"""

B, Q, D = F.shape

# 1. 计算Gram矩阵 (特征的内积)

# F: [B, Q, D] -> 先reshape为 [B, Q*D]? 不对，CKA是在样本维度(Q)上计算。

# 我们需要计算每个batch内，Q个token之间的相似度关系。

# 因此，将F视为 [B, Q, D]，计算每个样本的Gram矩阵: K = F @ F.transpose, 形状 [B, Q, Q]

K = torch.bmm(F, F.transpose(1, 2)) # [B, Q, Q]

L = torch.bmm(F_hat, F_hat.transpose(1, 2)) # [B, Q, Q]

# 2. 中心化Gram矩阵

# H = I - (1/Q) * 11^T

I = torch.eye(Q, device=F.device).unsqueeze(0) # [1, Q, Q]

ones = torch.ones(Q, Q, device=F.device).unsqueeze(0) / Q # [1, Q, Q]

H = I - ones # [1, Q, Q]

# 中心化: HKH

K_centered = torch.bmm(torch.bmm(H, K), H)

L_centered = torch.bmm(torch.bmm(H, L), H)

# 3. 计算CKA (HSIC的归一化版本)

# CKA = HSIC(K, L) / sqrt(HSIC(K, K) * HSIC(L, L))

# HSIC(K, L) = vec(K)^T vec(L) / (Q-1)^2，其中vec是向量化

# 对于中心化后的矩阵，HSIC可以用Frobenius内积方便计算

hsic_kl = torch.sum(K_centered * L_centered, dim=[1,2]) # [B]

hsic_kk = torch.sum(K_centered * K_centered, dim=[1,2]) # [B]

hsic_ll = torch.sum(L_centered * L_centered, dim=[1,2]) # [B]

cka_per_sample = hsic_kl / (torch.sqrt(hsic_kk * hsic_ll) + 1e-8) # [B]

# 4. 损失定义为 1 - CKA 的均值

loss_caco = 1 - cka_per_sample.mean()

return loss_caco

为什么用CKA而不是MSE/L1？ 我们在消融实验里试过，用MSE或L1损失直接约束F和ˆF，效果下降明显（约1-2个点）。因为MSE/L1是逐点比较，强迫两个特征图在数值上接近，这过于严格，可能会损害特征的表达能力。CKA比较的是特征内部的关系结构（即Q个token之间的相关性模式），只要两个特征集合内部样本的关系一致，它们的绝对数值可以不同，这更符合我们“语义一致”而非“数值相同”的目标。

3.3 忠诚度矩阵的动态构建

这是BiODL模块的灵魂，代码实现需要清晰地体现动态加权的逻辑。

PYTHON

def build_loyalty_matrix(S, labels):

"""

构建忠诚度矩阵L。

Args:

S: 相似度矩阵，形状 [B, B]，经过softmax处理（在批次维度）。

labels: 伪标签矩阵，形状 [B, B]，对角线为1，其余为0。

Returns:

L: 忠诚度矩阵，形状 [B, B]

"""

B = S.shape[0]

# 1. 计算每个查询的最大正样本相似度和最大负样本相似度

# p_i^+ = max_j (S_ij * y_ij)，即对角线的值（因为y_ij只有对角线是1）

p_pos = S.diag().view(B, 1) # [B, 1]

# p_i^- = max_j (S_ij * (1 - y_ij))，即每行非对角线元素的最大值

# 创建一个mask，将对角线设为负无穷，这样max就不会取到对角线

mask = torch.ones_like(S) * float('-inf')

mask.fill_diagonal_(0) # 对角线设为0，其他位置是负无穷

p_neg = torch.max(S + mask, dim=1, keepdim=True)[0] # [B, 1]

# 2. 计算负样本权重奖励 N

# n_ij = (1 - p_i^+) * (1 - y_ij)

# (1 - y_ij) 是一个矩阵，对角线为0，其他位置为1

neg_reward_mask = 1 - labels # [B, B]

N = (1 - p_pos) * neg_reward_mask # [B, B]

# 3. 计算正样本权重奖励 R

# r_ij = (1 - p_i^-) * y_ij

pos_reward_mask = labels # [B, B]

R = (1 - p_neg) * pos_reward_mask # [B, B]

# 4. 计算忠诚度矩阵 L = (S + N + R) / 2

L = (S + N + R) / 2.0

# 可选：对L进行归一化，确保每行和为1（类似于softmax）

# L = F.softmax(L, dim=1)

# 但我们发现除以2后范围已在[0,1]内，且保持与S的线性关系更易于解释，因此未做softmax。

return L

动态加权的直观解释：假设某个查询i，其与标注正样本的相似度p_i^+很低（比如0.3），说明模型不太相信这个配对。那么(1 - p_i^+)就很大（0.7），这意味着负样本权重奖励N会很大。在计算忠诚度L时，这个查询对所有负样本的“忠诚度”会在原始相似度S的基础上被显著抬高（但不会超过0.5，因为除以2了）。这相当于告诉模型：“既然你不信那个正样本，那你要更仔细地看看这些负样本里有没有真的匹配项，并把它们区分开”。反之，如果p_i^-很低，说明负样本里没有强干扰项，那么正样本权重奖励R会增大，鼓励模型更信任当前的正样本配对。

4. 训练流程、调参经验与问题排查

4.1 完整的训练流程

结合上述模块，INTENT的训练循环可以概括为以下步骤：

数据加载：加载一个批次的 (x_r, y_m, t) 三元组，其中t是目标图像。同时，从数据集中随机采样不相关图像x_d用于干预。
前向传播：
- VIC路径：对x_r和x_d进行FFT干预，生成ˆx_r。分别将(x_r, y_m)和(ˆx_r, y_m)输入Q-Former，得到F_c和ˆF_c。计算因果一致性损失 L_caco。
- 标准路径：将(x_r, y_m)输入Q-Former得到F_c（可与上一步共享计算），将目标图t输入视觉编码器得到特征F_t。
- 相似度计算：计算F_c与F_t的相似度矩阵S（例如余弦相似度），并沿批次维度做softmax得到归一化的相似度。
- BiODL路径：利用S和标签矩阵，构建忠诚度矩阵L。计算鲁棒对比损失L_robust和软判别损失L_sod。
损失计算与反向传播：总损失 L = L_robust + µ * L_sod + α * L_caco。反向传播更新Q-Former和视觉编码器中可训练部分的参数（通常BLIP-2的视觉编码器和文本编码器是冻结的，只微调Q-Former和部分投影层）。

4.2 超参数调优经验

损失权重 µ 和 α：这是最重要的超参数。我们的实验表明，α（控制VIC）的权重通常需要设得高一些（0.5~0.8），因为学习视觉不变性是基础。µ（控制BiODL中软判别损失）在0.1~0.3之间调整。一个实用的策略是：先在干净数据（或低噪声数据）上预训练一个基础模型，确定一组基准参数。然后在噪声数据上，逐步增加噪声率进行训练，并观察验证集性能。如果模型在噪声数据上性能下降主要是检索错误（错配），可以适当增大µ；如果发现模型对背景变化敏感（模态内噪声），则增大α。
温度系数 τ：在L_robust的softmax中，τ控制相似度分布的平滑程度。较小的τ（如0.05）会使分布更尖锐，放大相似度差异，在噪声数据中可能过于激进；较大的τ（如0.1）会使分布更平滑，更具容错性。我们默认使用0.07，这是一个在多个数据集上表现稳健的值。
批次大小 B：较大的批次大小（如128）能提供更丰富的负样本，有利于对比学习和忠诚度矩阵的估计。但也会增加内存消耗。如果GPU内存有限，可以减小批次大小，但可能需要相应地调整学习率或使用梯度累积。
学习率：对于使用预训练BLIP-2的模型，我们采用分层学习率策略。Q-Former部分的学习率设为4e-5，而CLIP视觉编码器（如果微调）的学习率设为更小的1e-6，以避免破坏预训练好的视觉特征。

4.3 常见问题与排查技巧

在实际复现和训练中，你可能会遇到以下问题：

损失不下降或波动巨大：
- 检查FFT干预：可视化生成的ˆx_r。如果图像严重扭曲、无法辨认，说明干预区域r太大或λ太极端，破坏了语义。确保反事实图像看起来是原图的“风格化”版本，而非完全不同的图片。
- 检查忠诚度矩阵：在训练初期，打印出p_i^+和p_i^-的均值。如果p_i^+从一开始就接近1或0，可能说明相似度计算或softmax温度有问题。正常情况下，它们应该从随机值（约1/B）开始逐渐分化。
- 梯度检查：检查L_caco、L_robust、L_sod各自的梯度范数。如果某一项的梯度远大于其他项，可能需要调整其损失权重（µ或α）。
模型对某种噪声过拟合：
- 现象：在训练集上效果很好，但在验证集上（尤其是不同噪声分布的验证集）表现差。
- 对策：这可能是VIC模块的干预方式过于单一，模型学会了“应对”你特定的FFT混合模式。可以尝试增加干预的多样性，例如在FFT混合之外，随机地结合其他轻微的数据增强（如小幅度的色彩抖动、高斯噪声），但强度要远小于FFT干预，以免主导不变性学习。
检索结果总是偏向于视觉相似，忽略文本修改：
- 现象：模型更像是在做“图像-图像”检索，文本修改指令没起作用。
- 诊断：这可能是L_caco权重α过大，导致模型过度追求视觉不变性，而牺牲了对文本修改的响应。可以尝试降低α，同时检查Q-Former的注意力可视化，看文本token是否在组合特征生成过程中被有效激活。
- 另一个可能：L_robust过于强势，把所有样本对都推远了，导致模型无法学习到任何有效的匹配。可以尝试减小µ，或暂时移除L_robust，只用L_sod和L_caco训练几个epoch，让模型先建立基本的跨模态关联。
训练速度慢：
- FFT和CKA计算确实会带来额外开销。确保使用了PyTorch的torch.fft模块，并尽量在GPU上完成所有计算。
- 对于CKA计算，如果查询数量Q很大（如BLIP-2默认的32），计算Gram矩阵（[B, Q, Q]）会有一定开销。如果速度是瓶颈，可以考虑在计算CKA之前，先对特征F_c和ˆF_c进行池化（如平均池化）降维到[B, D]，然后再计算CKA。但这会损失token间的结构信息，可能会轻微影响性能，需要权衡。
在极高噪声率（如80%）下性能骤降：
- 这是预期之中的，因为数据本身的信息质量太差。INTENT的抗噪能力有极限。此时，可以尝试：
  - 进一步增加L_robust的权重，让模型更“保守”。
  - 使用更小的初始学习率，并采用warm-up策略，让模型缓慢适应噪声。
  - 考虑引入一个课程学习策略，从噪声率较低的数据开始训练，逐步过渡到高噪声数据。

5. 实验设置、结果分析与案例解读

我们主要在两个标准CIR数据集上进行了验证：FashionIQ（时尚领域）和CIRR（开放域）。为了模拟真实噪声，我们随机打乱了一定比例的三元组，制造了0%（干净）、20%、50%、80%四种噪声率的数据。

5.1 主要实验结果

与当前主流方法（如SSN, CALA, SPRC）以及最新的鲁棒方法（如RCL, RDE, TME）相比，INTENT在几乎所有噪声设置下都取得了最优或次优的性能。特别是在高噪声场景下，优势更加明显。

以CIRR数据集在50%噪声率下的结果为例（见表1），INTENT在R@1（最相关结果排在第一位）指标上达到49.78%，显著优于其他鲁棒方法（TME为48.48%，RCL为48.58%）。在衡量细粒度检索能力的Rsub@1指标上，INTENT也达到了77.18%，展现出优秀的语义对齐能力。

关键结论：

鲁棒方法的必要性：在噪声数据上，专门的鲁棒方法（RCL, TME, INTENT）普遍显著优于普通CIR方法（SPRC, CALA）。噪声率越高，差距越大。这说明在真实场景中，忽略噪声问题直接训练模型，效果会大打折扣。
INTENT的有效性：INTENT在大多数指标上领先，尤其是在高噪声（50%，80%）设置下。这证明了我们同时处理模态内噪声和跨模态噪声的策略是有效的。

5.2 消融实验的深入分析

我们设计了详尽的消融实验来验证每个模块的作用（见表3，4）：

移除VIC模块：性能全面下降，尤其是在FashionIQ这种背景复杂、干扰多的数据集上，R@10下降了约1.2个百分点。这直接证明了学习视觉不变性对于抵抗背景干扰至关重要。
移除干预（用灰度图代替反事实图）：性能也有下降，但不如完全移除VIC严重。这说明即使没有频域干预，简单的数据增强（如灰度化）也能带来一定的正则化效果，但频域干预带来的“因果性”扰动更有效。
移除BiODL中的奖励机制：无论是移除正样本奖励还是负样本奖励，性能都会受损。同时移除两者（即退化为仅使用原始相似度矩阵）性能下降最严重。这证实了动态的、基于忠诚度的决策边界比固定的相似度阈值更适应噪声环境。
替换CKA损失为MSE/L1：性能一致性地出现下滑。这支持了我们的论点：特征关系的结构性一致比逐点数值一致更重要。

5.3 典型案例分析

看图4的案例，能非常直观地理解INTENT为何有效。

案例一（CIRR）：查询是“展示一只不同品种、面朝左、有草地背景的狗”。参考图是一只面朝右的狗在草地上。INTENT成功找到了目标（一只面朝左的拉布拉多在草地上）。而基线方法TME返回的结果里，虽然也有狗和草地，但狗的朝向、品种都不对。问题出在哪？ TME可能被参考图中“草地”这个强烈的背景（模态内噪声）所干扰，同时其硬决策边界可能错误地惩罚了“品种变化”这个关键修改点。INTENT的VIC模块帮助模型忽略了“草地”这个不变背景，BiODL模块则更灵活地评估了“品种”和“朝向”变化的匹配度。

案例二（FashionIQ）：查询是“变成多色、有腰束、蓝白相间、袖子更长”。参考图是一件纯色上衣。INTENT成功检索到符合所有描述的目标衣物。TME的结果则出现了颜色错误或缺少腰束细节。这里凸显了跨模态对应噪声的挑战：数据集中可能存在大量“颜色改变”但“款式不变”的噪声对。INTENT的双目标判别学习，通过评估批次内样本的忠诚度，降低了对这些模糊样本的依赖，更聚焦于文本描述的多维度匹配。

失败案例分析：即使INTENT，也存在失败案例（如图8c，9c）。常见情况是，文本修改指令极其复杂或主观（如“更显魅力”），或者目标图像与参考图的视觉差异非常微妙。有时，INTENT返回的前几名结果，在人类看来其实也符合描述，但并非标注的“标准答案”。这揭示了数据集中可能存在假负样本问题——即某些未被标注为正样本的图片，其实语义上也符合查询。这从侧面说明了CIR任务评估本身的挑战性，也提示我们未来的工作可以进一步考虑更精细的评估方式。

5.4 效率考量

有人可能会担心，增加FFT和CKA计算会不会让模型变得很慢？表6的效率评估给出了答案。INTENT的FLOPs确实比一些方法略高，但单样本推理时间仅为0.01秒，与基线方法SPRC相当，远快于TME（0.124秒）。这是因为主要的计算开销（FFT、CKA）发生在训练阶段，且是并行化的。在推理时，VIC模块是不需要的，模型就是标准的Q-Former前向传播，速度很快。训练时间上，INTENT每轮迭代也显著快于TME。因此，INTENT在保持高精度的同时，具备了实际部署的可行性。

最后，我想分享一点个人在实现这个项目过程中的深刻体会：处理噪声问题，本质上是在平衡“记忆”与“泛化”。一个强大的模型很容易记住训练数据中的噪声，尤其是在数据规模不够大的时候。INTENT通过因果干预引入“虚拟噪声”，迫使模型不去记忆具体的噪声模式，而是学习不变性；又通过动态决策边界，避免模型对任何样本（尤其是可疑的正样本）过度自信。这种“既保持怀疑，又积极学习”的思路，或许是许多存在噪声数据的机器学习任务可以借鉴的。代码已经开源，欢迎大家尝试并提出改进意见，共同推进鲁棒多模态学习的发展。