TTL框架：测试时文本学习实现开放世界OOD检测

1. 项目概述与核心挑战

在计算机视觉和机器学习领域，把一个训练好的模型直接扔到现实世界里用，最怕遇到什么？不是它认不出训练时见过的猫猫狗狗，而是它把从来没见过的“未知玩意儿”也信心满满地归类为某只熟悉的猫或狗。这种“未知玩意儿”，在学术上被称为“分布外”（Out-of-Distribution, OOD）样本。OOD检测的任务，就是给模型装上“危险感知”雷达，让它能主动识别并拒绝这些未知样本，避免做出过度自信的错误预测，这对于自动驾驶、医疗诊断等安全攸关的应用至关重要。

传统的OOD检测方法，思路有点像给学生一本固定的“错题集”。方法之一是设计各种“异常分数”函数，比如基于模型输出的最大softmax概率、能量分数，或者中间层特征的统计特性，来给输入样本打分，分数低的就判为OOD。另一种思路是在训练阶段“制造”一些OOD样本来辅助模型学习决策边界，比如从ID（分布内）训练数据的背景区域裁剪，或者用生成模型合成一些假OOD数据。然而，这些方法存在根本性局限：它们所接触到的OOD知识，要么来自有限的、人工设计的评分函数，要么来自特定数据集生成的、带有强烈偏见的伪OOD样本。现实世界的OOD分布是无限且动态变化的，一本固定的“错题集”根本无法覆盖所有可能出现的“新题型”。

为了获取更贴近真实世界的、实用的OOD知识，测试时适应（Test-Time Adaptation, TTA）技术近年来受到关注。其核心思想是，让模型在推理（测试）阶段，利用源源不断的、未标注的测试数据流，进行在线学习和自我调整。一些直观的方法会利用模型对当前测试批次样本的预测结果（伪标签）来更新模型参数。但这种方法存在一个致命问题：模型很容易“遗忘”之前学到的ID知识（灾难性遗忘），并且由于测试数据流的随机性，OOD检测性能会剧烈波动，极不稳定。

为了在适应新知识的同时保持稳定，后续研究引入了“记忆”机制。例如，OODD方法在测试时维护一个动态队列，存储有代表性的OOD视觉特征，用于校准后续检测。AdaNeg方法则更进一步，不仅利用视觉特征，还引入了外部固定的OOD文本标签（例如从大型语料库中收集的与ID类别无关的词汇），通过将测试数据分布与这些外部文本语义对齐来提升性能。然而，AdaNeg依赖一个有限且固定的OOD标签集合来代表开放的、无限的OOD语义空间，这本身就是不充分的。当遇到语义范围之外的OOD样本时（例如，用“动物”相关的负标签去检测“抽象纹理”类OOD），其性能就会大打折扣。

这就引出了一个更本质的问题：与其费力地将有限的、固定的外部标签与动态的测试分布对齐，为什么不直接从测试流中动态地学习OOD的文本语义本身呢？

基于这个洞察，我们提出了测试时文本学习（Test-time Textual Learning, TTL）框架。TTL的核心创新在于，它彻底摒弃了对任何预定义外部OOD标签的依赖，转而让模型在测试过程中，自主地从无标注的测试数据流中，动态学习并优化一组“OOD提示词”。这些提示词能够捕获更丰富、更清晰的OOD语义知识。具体来说，我们为每个ID类别都配备一个可学习的OOD提示词。通过一种精心设计的损失函数，TTL能够放大被赋予OOD伪标签的测试样本与这些可学习OOD提示词之间的语义相似性，从而学到有价值的OOD文本表征。更重要的是，我们提出了一种OOD知识净化策略，通过降低OOD提示词与ID边界样本（即低置信度的伪OOD样本）之间的语义相似性，来抑制伪标签中的噪声。这样，OOD提示词就能在持续的测试流中学习到更纯净的OOD知识。此外，为了确保检测的稳定性并提供更广泛的语义覆盖，TTL维护了一个OOD文本知识库，动态存储高质量的学习到的OOD文本特征。在最终推理时，这个知识库被用来校准基础的OOD检测分数，从而显著提升整体性能。

1.1 为什么是“文本”学习？视觉-语言模型的潜力

TTL的根基建立在视觉-语言模型（如CLIP）强大的多模态对齐能力之上。CLIP等模型通过海量图文对训练，学会了将图像和文本映射到同一个语义空间。在传统的CLIP用于OOD检测的方法（如MCM）中，我们通常计算图像特征与一系列ID类别文本特征（如“一张狗的照片”、“一张猫的照片”）的相似度，将最大相似度作为“内分布”置信度，置信度低的判为OOD。

这里的文本侧（即类别名称）通常是固定不变的。TTL的创新点在于，它将文本侧也变成了一个可动态优化的部分。既然图像特征在测试时是变化的（来自未知的测试流），为什么文本特征必须是静态的呢？通过动态优化“OOD”对应的文本提示，我们实际上是在让模型的“语言理解”部分也跟随视觉世界的分布变化而进化，从而实现对OOD语义更精准的捕捉。这是一种更本质的“对齐”——让文本表征去主动适应未知的视觉世界，而非用固定的文本来框定变化的视觉世界。

2. TTL框架深度解析

TTL框架的运作流程可以清晰地分为两个阶段：测试时适应阶段和推理校准阶段。整个框架的设计紧密围绕“从测试流中学习纯净OOD文本知识”这一核心目标展开。

2.1 核心组件与工作流程

测试时适应阶段是TTL从数据中汲取知识的核心环节。其输入是源源不断的无标注测试图像流。对于每一批测试数据，框架执行以下步骤：

1. 基础检测与伪标签生成：首先，使用一个基础的OOD检测器（例如MCM）为当前批次中的每个样本计算一个OOD分数，并基于自适应阈值（后文详述）为每个样本分配一个伪标签（ID或OOD）。这是所有后续学习的起点。
2. OOD提示词优化：我们为每个ID类别初始化一个可学习的OOD提示词。例如，对于ID类别“狗”，其ID提示词可能是“一张狗的照片”，而其对应的OOD提示词初始化为相同的模板，但其中的上下文向量（如“一张”和“的照片”之间的词）是可学习的。模型参数（图像编码器、文本编码器、ID提示词）被冻结，只优化这些OOD提示词。优化的目标由两部分组成：OOD知识学习损失和OOD知识净化损失。
3. OOD文本知识库更新：将优化后产生的OOD提示词对应的文本特征，根据其“OOD潜力分数”（即与所有ID文本特征的最小余弦相似度的负值，分数越高代表越不像ID）进行评估，并存入一个固定容量的优先级队列（知识库）中。队列满时，替换掉分数最低的特征，确保库中始终保留最具判别力的OOD文本知识。

推理校准阶段发生在每个样本的最终判定时刻。对于待检测的图像，我们不仅计算其基础OOD分数，还计算其图像特征与OOD文本知识库中所有特征的最大余弦相似度。这个值反映了该图像与历史学习到的所有OOD语义的匹配程度。最终，我们将基础分数与这个基于知识库的校准分数进行加权融合，得到最终的OOD检测分数。通过这种方式，历史学习到的、多样化的OOD知识被用来对当前预测进行“二次校验”，显著提升了判别的鲁棒性。

2.2 关键技术一：OOD知识学习与少数类平衡损失

我们的目标是让OOD提示词的文本特征靠近那些被标记为OOD的样本的图像特征。一个最直接的想法是使用二元交叉熵损失，让OOD提示词对伪OOD样本产生高响应，对伪ID样本产生低响应。然而，测试流中ID和OOD样本的比例是未知且可能高度不平衡的（通常OOD样本是少数）。直接使用标准交叉熵损失会导致模型过于关注多数类（通常是ID），而忽略了宝贵的、稀少的OOD信号。

为此，我们提出了 OOD聚焦的少数类平衡损失。其数学形式如下：

L_OMB = - (1/π_+) * Σ_{i: y_i=1} log(1 - p(x_i)) - (1/π_-) * Σ_{j: y_j=0} log(p(x_j))

其中，p(x) 是样本x被预测为OOD的概率，由OOD提示词和ID提示词共同计算得出（详见原论文公式3）。π_+ 和 π_- 分别是当前批次中伪ID和伪OOD样本的比例。这个损失函数的关键在于引入了逆类别频率权重 1/π。当OOD样本很少时（π_-很小），1/π_-这个权重会变得很大，从而放大少数类（OOD）样本对梯度更新的贡献，迫使模型必须认真从有限的OOD伪标签中学习，而不是被大量的ID样本所淹没。

实操心得：权重计算的陷阱 在实际代码实现中，计算 π_- 时需要特别注意除零错误。当某一批次中所有样本都被预测为ID时，π_- 为0。一个稳健的做法是设置一个极小值ε（如1e-8）进行平滑，或者当 π_- 小于某个阈值时，暂时跳过OOD相关的损失项。我们的实验发现，在测试初期，模型可能将所有样本判为ID，这是正常现象。随着知识库的积累和提示词的优化，OOD样本会逐渐被识别出来。

2.3 关键技术二：OOD知识净化策略

伪标签不可避免地含有噪声。其中最有害的噪声是那些本身是ID样本，但被基础检测器错误地赋予了高OOD分数（即处于ID-OOD决策边界附近）的样本。我们称这些样本为 ID边界样本。如果直接用它们来优化OOD提示词，就会导致OOD提示词的语义向ID空间漂移，污染学习到的OOD知识，严重削弱其判别力。

为了净化知识，我们提出了OOD知识净化损失。其核心思想是：在伪OOD样本集合内部，做进一步的“提纯”。具体操作如下：

1. 对于一个批次中被标记为OOD的样本，我们根据它们当前的OOD概率 p(x) 再进行一次划分。
2. 使用与确定伪标签类似的自适应阈值方法，找到一个阈值θ，将伪OOD集合划分为高置信度OOD样本集合 S_h (p(x) > θ) 和低置信度OOD样本（即ID边界样本）集合 S_l (p(x) ≤ θ)。
3. 净化损失的目标是拉大高置信度OOD样本与OOD提示词的相似性，同时拉低ID边界样本与OOD提示词的相似性。损失函数设计为： L_OKP = - ( mean(p(x_i) for i in S_h) - mean(p(x_j) for j in S_l) ) 这个损失函数非常巧妙。它的目标是最大化括号内的差值。第一项鼓励高置信OOD样本的OOD概率更高（与OOD提示更相似），第二项（减去均值）则鼓励低置信样本的OOD概率更低。通过优化这个损失，OOD提示词会主动远离那些模棱两可的ID边界样本，从而聚焦于真正的、可靠的OOD语义。

避坑指南：自适应阈值的选择 这里用于划分高/低置信度的阈值θ，我们采用了与生成伪标签时相同的自适应阈值算法（即最小化组内方差）。这保证了划分标准的一致性。在实践中，我们发现这个二次划分至关重要。如果不进行净化，随着测试批次的累积，ID边界样本的噪声效应会被不断放大，最终导致OOD提示词学习完全失效，性能甚至可能低于不进行任何适应的基础检测器。

2.4 关键技术三：OOD文本知识库与优先级管理

测试时适应面临的一个经典困境是“稳定性-可塑性权衡”：模型需要适应新数据（可塑性），但又不能忘记之前学到的有用知识（稳定性）。在TTL中，仅基于当前批次优化的OOD提示词，可能只捕获了局部、临时的OOD语义，对于后续批次中出现的分布变化可能不够鲁棒。

OOD文本知识库（OKB）就是为了解决这个问题而设计的动态记忆体。它像一个不断更新的“OOD语义词典”。其运作机制如下：

1. 入库：每个批次优化后产生的OOD提示词文本特征，都会根据公式 S_in(t) = min_c[-cos(t_id_c, t)] 计算一个“内在OOD分数”。这个分数衡量的是该特征与所有ID文本特征的差异程度，分数越高，代表该特征越不像任何ID类别，即作为OOD代表的潜力越大。
2. 存储与淘汰：知识库有一个固定的容量K（例如2048）。当新特征产生时，计算其分数并尝试入库。如果库未满，直接存入；如果库已满，则用新特征的分数与库中最低分数比较。如果新特征分数更高，则替换掉分数最低的那个旧特征。这是一种优先级队列策略，确保了库中始终保留着历史学习到的、最具判别力（最不像ID）的OOD文本特征。
3. 推理校准：在最终检测时，对于待测图像特征z，计算其与知识库中所有特征的最大余弦相似度：S_cal(x) = - max_j cos(z, t_ood_j)。这个值越小（负得越多），说明该图像与已知的OOD语义越相似，是OOD的可能性就越大。最终分数是基础分数与校准分数的加权和：S_final(x) = S_base(x) + β * S_cal(x)。

经验之谈：超参数β与知识库容量K 融合系数β是一个关键但通常很小的正数（例如0.0005）。这是因为基础检测器分数（如MCM的相似度）和校准分数（最大余弦相似度）通常处于不同的数量级。β的作用是调节校准信号的强度，需要通过验证集进行微调。知识库容量K则需要在内存开销和知识多样性之间取得平衡。我们的实验表明，TTL对K并不敏感，在较大范围内（512到8192）都能保持良好性能，选择2048是为了与对比方法公平比较。在实际部署中，可以根据硬件资源进行调整。

3. 实验设计与结果分析

我们遵循领域内标准协议，在两大主流基准数据集上进行了全面评估：大规模场景的ImageNet-1K（ID数据集）配合iNaturalist、SUN、Places、Texture四个OOD数据集；以及中等规模的CIFAR-100（ID数据集）配合SVHN、LSUN-C、LSUN-R、iSUN、Texture、Places365六个OOD数据集。评价指标采用标准的FPR95（在95%召回率下的误报率，越低越好）和AUROC（ROC曲线下面积，越高越好）。

3.1 与前沿方法的对比

我们将TTL与三类先进的CLIP-based OOD检测方法进行了比较：

1. 后处理方法：如MCM、GL-MCM、NegLabel、CSP等，它们不更新模型，只在推理时利用CLIP的特征进行计算。
2. 基于训练的方法：如LoCoOp、Local-Prompt、FA、MoFE等，它们需要在有标签的ID数据上进行训练（提示词微调或模型微调）。
3. 测试时适应方法：如OODD、AdaND、AdaNeg，它们在测试阶段利用测试流进行自适应。

在ImageNet-1K基准上的结果令人振奋。如表1所示，TTL在所有测试时适应方法中取得了最佳性能。关键优势在于，TTL不需要任何预定义的OOD知识（如CSP、AdaNeg依赖外部OOD标签），也不需要ID训练数据（所有训练类方法都需要），仅通过测试时动态学习，就在平均FPR95和AUROC上分别取得了12.46%和97.29%的优异结果，显著优于需要外部知识的AdaNeg（19.22% FPR95， 96.17% AUROC）和需要ID训练的MoFE（20.02% FPR95， 94.89% AUROC）。

在CIFAR-100基准上，TTL的优势更加明显。如表2所示，TTL在全部六个OOD数据集上一致地超越了所有对比方法，尤其是在具有挑战性的Places365数据集上，AUROC相比其他TTA方法提升了近20%，这证明了TTL在处理复杂场景OOD数据时的强大泛化能力。

3.2 消融实验：每个组件都不可或缺

我们通过系统的消融实验验证了TTL各个组件的有效性。如表3所示，我们逐步添加核心组件：

• 基线（MCM）：FPR95为42.77%， AUROC为90.76%。
• 仅添加L_OMB：性能大幅提升至FPR95 30.56%， AUROC 92.54%。这证明了从测试流中学习OOD文本语义的基本思路是有效的。
• 添加L_OMB和L_OKP：性能进一步提升至FPR95 24.59%， AUROC 93.95%。这清晰地表明了净化伪标签噪声的重要性。
• 添加L_OMB和OKB：性能为FPR95 18.40%， AUROC 95.63%。说明知识库对于稳定和积累知识至关重要。
• 完整TTL（L_OMB + L_OKP + OKB）：达到最佳性能FPR95 12.46%， AUROC 97.29%。

实验结果表明，三个组件缺一不可。OOD知识净化策略（LOKP）带来了显著的额外增益（平均AUROC提升约1%），这凸显了在充满噪声的测试流中进行“去噪”是实现鲁棒适应的关键。

3.3 超参数敏感性与鲁棒性分析

一个好的框架应该对超参数选择不敏感，便于实际应用。我们对TTL的四个主要超参数进行了敏感性分析：

1. 知识库容量K：如图5a所示，在2^8到2^14的广泛范围内，TTL的性能（AUROC）始终稳定在97%以上，且显著高于基线（AdaNeg）。这表明只要容量不是过小（如小于256），TTL都能有效工作。
2. 融合系数β：如图5b所示，β在[2e-4, 8e-4]区间内变化时，性能波动很小。这印证了我们的设计：校准信号是辅助性的，只要幅度适中，就能稳定提升性能。
3. 损失权重α：如图5c所示，α在0.2到1.0之间变化时，性能同样稳定。我们选择α=0.5作为默认值，在强调OOD学习和避免过度信任噪声伪标签之间取得了良好平衡。
4. 批次大小B：如图5d所示，批次大小从8到512，TTL性能始终优于基线。较大的批次（如64）通常能提供更稳定的梯度，是推荐的选择。

这些分析表明，TTL具有很好的鲁棒性，超参数易于设置，这为其在实际场景中的部署降低了门槛。

3.4 可视化与深入讨论

为了直观理解TTL学到了什么，我们通过t-SNE将学习到的OOD文本特征（来自知识库）、ID文本特征以及真实的ID/OOD图像特征可视化。如图6所示，学习到的OOD文本特征（OKB Text）在嵌入空间中，确实倾向于与真实的OOD图像特征（OOD Image）聚集在一起，而与ID文本特征（ID Text）和ID图像特征（ID Image）保持距离。这从几何角度证实了TTL成功地让OOD提示词捕捉到了真实的OOD语义。

我们还探讨了仅使用文本知识库与结合视觉知识库的差异。我们实现了一个变体TTL-V，它在TTL的基础上额外集成了一个类似OODD的视觉特征库。如表6所示，TTL-V能带来进一步的性能提升（FPR95从12.46%降至9.19%），但代价是存储开销翻倍（从4MB增至8MB）。这说明了文本和视觉模态的互补性，也表明TTL的文本侧适应可以与现有的视觉侧适应方法灵活结合。

最后，我们对计算开销进行了分析。如表7所示，TTL在测试时引入的额外计算成本（每张图像11.40ms vs 基础MCM的8.18ms）是可控的，主要来自提示词的前向传播和优化步骤。存储开销（4MB）与OODD的视觉库相当。更重要的是，我们可以采用早停策略来平衡性能与效率。例如，在处理了1280个测试样本后停止更新OOD提示词，此时性能（FPR95 14.21%）依然优于最强的基线AdaNeg，而推理时间则下降至与后处理方法相近的8.36ms。这为资源受限的场景提供了实用的部署方案。

4. 常见问题与实战排错指南

在实际实现和应用TTL框架时，可能会遇到一些典型问题。以下是根据我们的实验经验总结的排查清单和解决方案。

4.1 关于基础检测器的选择

TTL被设计为与基础OOD检测器解耦。我们的实验（图4）表明，TTL可以稳定地提升多种不同基础检测器（MCM, GL-MCM, NegLabel, LoCoOp, FA）的性能。这赋予了框架极大的灵活性。在选择基础检测器时，我们的建议是：

• 优先选择在目标ID数据集上表现稳健的检测器。一个能较好区分ID内部差异的检测器，通常也能为ID/OOD边界提供更有价值的初始信号。
• 考虑计算效率。由于TTL需要在测试时进行前向传播和梯度计算，如果基础检测器本身非常耗时，整体延迟会叠加。MCM是一个在性能和效率之间取得很好平衡的基线选择。
• 可以进行简单的集成。如果资源允许，可以尝试取多个基础检测器（如MCM和能量分数）的分数平均值或最小值作为S_base(x)，这往往能提供更鲁棒的伪标签起点。

4.2 部署时的实用技巧

1. 预热阶段：在测试的最开始（例如前1-2个批次），可以不更新模型，仅用基础检测器进行预测并填充知识库。这能为后续的优化提供一个相对稳定的起点。
2. 动态学习率：可以考虑使用简单的学习率衰减策略，例如每N个批次将学习率减半。这有助于在后期微调模型，避免在性能平台期产生震荡。
3. 监控与回滚：在生产环境中，可以实时监控在某个保留验证集（如果存在）或通过在线指标（如预测熵的突变）上的性能。如果检测到性能严重下降，可以回滚到之前保存的提示词和知识库状态。
4. 领域自适应：如果已知测试流主要来自某个特定领域（如医疗影像、街景），可以在该领域的无标签数据上预先运行TTL进行“预热”学习，再将学习到的提示词和知识库用于在线推理，这可以加速适应过程并提升初始性能。

TTL框架的核心价值在于它提供了一种轻量、在线、自适应的OOD检测增强范式。它不依赖于昂贵的额外数据标注或离线的重新训练，而是巧妙地利用模型在推理过程中产生的“副产品”（伪标签）来持续进化自身的“未知感知”能力。通过将学习重心放在可解释的文本提示词上，并通过知识库进行记忆和校准，TTL在开放性世界的机器学习系统安全部署道路上，迈出了坚实而富有启发性的一步。