跨域小样本目标检测实战：DINOv3+伪标签+数据增强技术解析

跨域小样本目标检测DINOv3伪标签
于 2026-05-28 03:01:08 修改
·本内容遵循CC 4.0 BY-SA版权协议

1. 项目概述与核心挑战

在计算机视觉的实际落地中，我们常常遇到一个非常现实的困境：面对一个全新的、标注数据极其稀缺的场景，如何快速、准确地训练出一个可用的目标检测模型？比如，公司突然接到一个水下管道缺陷检测的项目，客户只能提供十几张带有标注的图片；或者，我们需要为一种新型的农业无人机开发一个识别特定作物的模块，但能收集到的标注样本寥寥无几。这就是小样本目标检测要解决的核心问题。它的目标不是追求在百万级数据上刷出SOTA指标，而是在“巧妇难为无米之炊”的条件下，用极少的“米”（标注样本），做出一锅“能吃的饭”（一个可用的检测模型）。

然而，现实往往更残酷。我们手头可能有一个在通用数据集（如COCO）上预训练好的强大模型，但新任务的数据（目标域）与预训练数据（源域）在风格、光照、物体外观上存在巨大差异。例如，从自然场景图片（源域）迁移到水下拍摄的模糊、偏色图像（目标域），这就是跨域问题。当“样本少”遇上“差异大”，模型性能往往会断崖式下跌，因为它在源域学到的特征表示，在目标域可能完全失效。

NTIRE 2026挑战赛正是聚焦于这个极具现实意义的“地狱难度”任务：跨域小样本目标检测。参赛队伍需要在仅有1、5、10个标注样本的条件下，让模型适应水下生物、无人机车辆、工业缺陷等与源域差异巨大的新场景。从官方报告和顶尖方案中，我们可以清晰地看到一条主流技术演进路径：视觉基础模型 + 伪标签 + 数据增强。这“三驾马车”构成了当前应对该挑战最有效的技术框架。简单来说，就是用强大的基础模型（如DINOv3）作为“火眼金睛”，提供高质量的初始特征；用伪标签技术“自己标注自己”，从有限数据中挖掘更多监督信号；再用数据增强技术“无中生有”，创造更多样化的训练样本，模拟域变化。接下来，我将为你层层拆解这套组合拳背后的设计逻辑、具体实现以及那些在论文里不会写的实操细节与避坑指南。

2. 核心技术栈深度解析：为何是“基础模型+伪标签+增强”？

在深入具体方案前，我们必须先理解为什么这个“铁三角”能成为主流。这背后是对于跨域小样本问题本质的深刻洞察。

2.1 视觉基础模型：从“通用视力”到“专业眼力”

传统目标检测模型（如Faster R-CNN、YOLO）通常在特定数据集（如COCO）上训练，其学到的特征表示具有强烈的领域偏向性。当面对差异巨大的新域时，模型需要从头开始适应，这在样本极少的情况下几乎不可能。

DINOv3 等自监督视觉基础模型的出现改变了游戏规则。它们通过在数亿甚至数十亿张无标签图像上进行自监督预训练，学习到了对物体形状、纹理、部件关系的通用、鲁棒的表征。你可以把它理解为一个拥有“通用视力”的超级观察者，即使没见过某种特定的鱼，它也能敏锐地捕捉到“鳍”、“眼睛”、“身体轮廓”这些通用视觉概念。

实操心得：为什么是DINOv3，而不是CLIP或SAM？ 在方案选型时，我们对比过CLIP（图文对比学习）和SAM（分割一切模型）。CLIP的特征更偏向于语义对齐，对于需要精确定位的检测任务，其空间细节保留能力有时不如纯视觉模型。SAM更擅长分割，但其特征并非为密集预测任务（如检测）最优设计。DINOv3作为纯视觉模型，通过自蒸馏方式学习，其特征在保持语义一致性的同时，拥有极强的空间局部性和细节刻画能力，这对于需要精确框出目标的检测任务至关重要。许多顶尖方案（如French Borelli团队的Triple-Tower）都采用DINOv3作为视觉特征提取器，正是看中了这一点。

在跨域小样本场景中，我们冻结（freeze）DINOv3的骨干网络，将其作为一个强大的、域不变的特征提取器。这样，模型在适应新任务时，不需要从头学习“如何看”，只需要学习“如何根据这种通用的‘看’法，在新领域里找到并认出目标”。这极大地降低了学习难度，将问题从“特征学习+任务学习”简化为“任务学习”。

2.2 伪标签技术：让模型成为自己的“标注助手”

仅有几个标注样本，模型很容易过拟合，学到的决策边界非常脆弱。伪标签技术的核心思想是：利用模型当前版本的预测，为高置信度的未标注区域生成临时标签，并将其加入训练集。这是一个自举（Bootstrap）过程。

其有效性基于一个假设：模型在训练过程中，其预测置信度较高的部分，很可能是正确的。通过迭代地将这些“可能正确”的预测作为监督信号，我们实际上是在用模型自身的认知来扩充训练集，引导其学习更鲁棒的特征。

在NTIRE的方案中，伪标签的应用非常巧妙：

  1. 周期性生成：并非一次性生成所有伪标签，而是在训练过程中，每隔N个epoch（如French Borelli方案中是每5个epoch），用当前模型在支持集（support set）上跑一遍推理。
  2. 高置信度过滤：只保留预测分数高于某个阈值（如0.7）的检测框作为伪标签。这保证了加入训练的数据质量。
  3. 非极大值抑制与去重：对于与已有真实标注框高度重叠（IoU ≥ 0.7）的伪标签，予以丢弃，避免重复标注和引入噪声。

避坑指南：伪标签的双刃剑效应 伪标签是一把双刃剑。如果初期模型预测不准，生成的错误伪标签会像“毒药”一样污染训练集，导致模型在错误的方向上越走越远，这被称为“确认偏误”。为了缓解这个问题：

  • 启动时机：不要在训练一开始就使用伪标签。像French Borelli方案中，从第15个epoch才开始，此时模型已经通过少量真实样本有了初步的、相对稳定的认知。
  • 阈值动态调整：初期可以使用较高的置信度阈值（如0.8），随着训练进行，模型越来越准，可以逐步放宽阈值（如降到0.6），以挖掘更多潜在的正样本。
  • 重点应用于困难场景：如FewShotEverything团队的方案所示，对于标注明显不全的数据集（如数据集中每张图可能有多辆车但只标了一辆），迭代式伪标签挖掘能有效补全监督信号，防止模型将未标注的同类物体误判为背景。

2.3 数据增强与生成：创造“域内”多样性

数据增强是应对小样本过拟合的经典手段。但在跨域场景下，传统的几何变换、颜色抖动可能不够。因为域差异往往体现在更整体的风格、纹理、光照上。

因此，前沿方案开始利用视觉-语言大模型进行语义级的数据增强。以FewShotEverything团队的AIPR方案为例，其训练集数据增强模块 的工作流程堪称典范：

  1. 输入：一张目标域图片 + 一段精心设计的文本提示（如：“请基于我的输入图片生成一张水下目标检测图像，包含以下类别：海参、海胆、扇贝...”）。
  2. 生成：使用Qwen-Image 2.0这类文生图模型，生成与输入图片视觉相似、保留目标域特性（如水下模糊、蓝色色调）但物体布局、姿态、背景略有变化的新图像。
  3. 自动标注：将生成的图像和对应的类别描述文本，输入到Qwen-VL这类视觉-语言模型中，让其自动生成边界框和类别标签作为伪标签。

这个过程相当于利用大模型的生成和理解能力，在目标域的数据分布内进行“插值”和“外推”，创造出既保持域特性又具备多样性的新样本。这比简单的裁剪翻转有效得多，因为它直接针对“域偏移”这个核心痛点进行增强。

Domain-RAG 则是另一种思路，它结合了检索与生成。首先从大型数据集中检索与目标域样本在特征空间相似的图像块，然后将这些块与目标图像进行组合生成新样本。这相当于从海量数据中“借用”与目标域相关的视觉元素，来丰富支持集的多样性。

3. 代表性方案实战拆解

理解了核心思想，我们来看几个NTIRE 2026中的具体获胜方案是如何将这些技术落地的。我会重点剖析两个最具代表性的工作流。

3.1 方案一：French Borelli团队的“Triple-Tower”架构

这个方案的精妙之处在于“解耦”的思想。他们发现，在开放词汇检测器（如WeDetect）进行小样本适应时，定位和分类两个任务的学习难度和所需信息是不同的。

核心流程：

  1. 第一阶段：开放词汇检测器微调。

    • 模型：使用WeDetect（基于ConvNeXt和X-BERT）作为基础检测器。它本身具备强大的零样本泛化能力。
    • 微调策略：采用参数高效微调，仅训练LayerNorm层的参数（约占全部参数的0.03%）。这能在极大降低过拟合风险的同时，让模型快速适应目标域的风格。
    • 伪标签注入：在微调过程中（从第15epoch开始，每5个epoch），对支持集图像进行推理，生成高置信度伪标签并加入训练。这直接解决了支持集中可能存在未标注物体（漏标）导致的负样本偏差问题。

  2. 第二阶段：视觉模型增强分类。

    • 为什么需要？ 开放词汇检测器的分类依赖于文本嵌入（语言塔），在样本极少时，其视觉-语言对齐可能不够精确。
    • 怎么做：引入一个独立的、纯视觉的DINOv3模型，在所有的真实标签和第一阶段生成的伪标签上，训练一个最近质心分类器。
    • 推理融合：在测试时，对于一个检测框，同时获取语言塔的文本分类分数和视觉塔的NCC分类分数，将两者相加或加权平均作为最终分类得分。

该方案的启示：

  • 任务解耦：让擅长定位的模型（开放词汇检测器）继续做定位，让擅长提取纯视觉特征的模型（DINOv3）来辅助分类，扬长避短。
  • 高效微调：在数据极度稀缺时，全参数微调是灾难。LoRA、Adapter或仅微调Norm层是更安全的选择。
  • 集成学习：简单地将不同视角（语言vs视觉）的预测结果集成，就能带来稳定的性能提升。

3.2 方案二：FewShotEverything团队的“AIPR”全流程增强

这个方案展现了一个更系统、更自动化的增强流水线，尤其适合标注质量不高、域差异显著的工业场景。

三大模块协同：

  1. TDAM（训练集数据增强模块）：如前所述，利用Qwen-Image 2.0和Qwen-VL进行“生成-标注”闭环。这相当于为模型创造了一个“练习场”，提供了大量同域但多样化的模拟数据。
  2. PRM（原型精炼模块）：在基于原型的少样本学习方法中，类原型（每个类的特征中心）的质量至关重要。PRM通过注意力机制等技术，让模型在计算原型时，更聚焦于物体的语义相关区域，过滤掉背景噪声。例如，计算海胆的原型时，会更关注其刺状纹理区域，而不是它附着的那块岩石。
  3. IPLM（迭代伪标签模块）：专门针对标注不全的数据集。它像一个“质检员”，在训练中不断扫描支持集图片，发现那些被漏标的目标实例（如一张图里有5辆车，只标了1辆），并为其生成伪标签。这个过程是迭代的，随着模型变好，伪标签的质量也越来越高。

该方案的启示：

  • 端到端增强：将数据生成、特征精炼、标签补全串联成一个完整的自适应系统，自动化程度高。
  • 问题针对性：不同模块针对不同子问题（数据少、特征噪声大、标注不全），组合拳效果显著。
  • 大模型即服务：将VLMs作为数据生产和自动标注的工具，降低了高质量数据扩充的门槛。

3.3 其他优化技巧集锦

除了上述主体架构，报告中还散落着许多值得借鉴的“小技巧”：

  • 多尺度原型融合：如nudt团队的方案，对支持集图像构建图像金字塔（0.9x, 1.0x, 1.1x, 1.2x），提取多尺度特征后用温度缩放软加权融合，使原型对物体尺度变化更鲁棒。
  • 强化的传统增强策略：对于极小的支持集（1-10 shot），简单的翻转裁剪不够。他们采用了RandomChoiceResize，从11个离散的尺度中随机选择，再配合RandomCrop，极大地增加了数据空间。
  • 测试时增强：在推理时，对查询图像进行多尺度、多裁剪的变换，将多次预测的结果进行集成，可以平滑单次预测的不确定性，提升最终精度。

4. 从理论到实践：复现核心步骤与配置

了解了顶尖方案的设计，如果我们想在自己的项目上尝试，该如何着手呢？以下是一个基于DINOv3和伪标签的简化版实战流程，你可以以此为基础进行迭代。

4.1 环境准备与数据组织

首先，确保你的环境能支持Transformer大模型训练。

BASH
# 示例依赖，版本需根据实际情况调整
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers timm opencv-python Pillow albumentations
pip install git+https://github.com/facebookresearch/dinov2.git # DINOv2/v3

数据组织遵循小样本学习的标准格式：

TEXT
your_dataset/
├── train/ # 源域预训练数据（如COCO格式）
│ ├── annotations/
│ └── images/
└── target_domain/ # 目标域数据
├── support/ # 极少量的标注数据 (1,5,10-shot)
│ ├── annotations.json
│ └── images/
└── query/ # 待检测的测试数据
└── images/

关键是将目标域的标注按小样本设置划分好，确保每个类别只有K个实例（K=1,5,10）。

4.2 第一阶段：基于DINOv3特征提取器的快速适配

我们不直接微调DINOv3，而是将其作为冻结的特征提取器，在其后接一个轻量化的检测头（如一个简单的FPN+检测头，或直接使用RT-DETR这类Transformer检测器）。

PYTHON
import torch
import torch.nn as nn
from dinov2.models import dinov2_vitl14
import torchvision.ops as ops
 
class DINOv3_Detector(nn.Module):
def __init__(self, num_classes):
super().__init__()
# 加载预训练的DINOv3 ViT-L/14，并冻结
self.backbone = dinov2_vitl14(pretrained=True)
for param in self.backbone.parameters():
param.requires_grad = False # 冻结骨干网络！
 
# 假设DINOv3输出特征维度为1024
feat_dim = 1024
# 构建一个简单的检测头（这里以RPN+Fast R-CNN风格为例，实践中可用更现代的Detector）
self.rpn = nn.Conv2d(feat_dim, 256, kernel_size=3, padding=1)
self.cls_head = nn.Linear(256, num_classes)
self.reg_head = nn.Linear(256, 4) # 边界框回归
 
def forward(self, x):
# 提取特征
with torch.no_grad(): # 确保骨干网络不计算梯度
features = self.backbone.forward_features(x)['x_norm_patchtokens']
# 将序列特征重整为空间特征图 (假设输入为224x224，patch=14)
features = features.permute(0, 2, 1).view(-1, 1024, 16, 16)
 
# 检测头前向传播
rpn_feat = self.rpn(features)
# ... 后续RPN和RoI操作
# 分类和回归预测
return class_logits, box_regressions

训练策略：

  • 优化器：仅对检测头部分参数进行优化。使用AdamW，学习率设为2e-5（对新增参数较大）到5e-5之间。
  • 数据增强：对支持集应用强增强。参考French Borelli团队的配置：随机水平翻转、多尺度缩放（如短边随机从[480, 800]中选取）、YOLO风格的Mosaic增强（将四张图拼成一张）、MixUp、HSV色彩空间增强等。对于特定域，要加入域相关的增强，如水下数据集可加随机模糊、模拟水下散射；遥感数据集可加随机旋转。
  • 训练周期：由于数据量小，epoch可以设置得多一些（如100-200），但要密切监控验证集性能，防止过拟合。

4.3 第二阶段：伪标签迭代与自训练

在第一阶段模型训练到一定程度（如loss收敛，或达到一定epoch）后，启动伪标签流程。

PYTHON
def generate_pseudo_labels(model, support_loader, confidence_threshold=0.7, iou_threshold=0.7):
model.eval()
pseudo_annotations = []
with torch.no_grad():
for images, _ in support_loader: # 这里假设loader返回图像和原始标注
predictions = model(images)
# predictions 包含 boxes, scores, labels
for idx, (boxes, scores, labels) in enumerate(predictions):
# 过滤低置信度预测
keep = scores > confidence_threshold
boxes = boxes[keep]
scores = scores[keep]
labels = labels[keep]
# NMS去除高度重叠框
keep_indices = ops.nms(boxes, scores, iou_threshold)
final_boxes = boxes[keep_indices]
final_labels = labels[keep_indices]
# 将高置信度预测作为伪标签
for box, label in zip(final_boxes, final_labels):
pseudo_annotations.append({
'image_id': idx,
'bbox': box.cpu().numpy().tolist(),
'category_id': label.item(),
'score': scores[keep_indices].cpu().numpy().tolist() # 可选，用于加权训练
})
model.train()
return pseudo_annotations

集成到训练循环中：

PYTHON
for epoch in range(total_epochs):
# 标准训练步骤
train_one_epoch(model, train_loader, optimizer)
# 每隔N个epoch，生成并加入伪标签
if epoch >= start_pseudo_epoch and epoch % pseudo_interval == 0:
new_pseudo_labels = generate_pseudo_labels(model, support_loader)
# 将new_pseudo_labels与原始标注合并，创建新的训练数据集
updated_train_set = merge_annotations(original_support_set, new_pseudo_labels)
# 重新创建DataLoader
train_loader = DataLoader(updated_train_set, ...)

4.4 第三阶段（可选）：视觉模型辅助分类

如果你有足够的计算资源，可以仿照Triple-Tower方案，引入一个独立的DINOv3模型专门做分类。

  1. 使用第一阶段训练好的检测器，在支持集和查询集上生成候选框。
  2. 将这些候选框裁剪出来，作为图像块。
  3. 在一个冻结的DINOv3模型上，提取每个图像块的特征。
  4. 使用支持集图像块的特征和标签，为每个类别计算一个“质心”（特征均值）。
  5. 在推理时，对于检测器生成的每个候选框，计算其DINOv3特征到各个类质心的距离（如余弦相似度），作为纯视觉分类分数。
  6. 将检测器自身的分类分数（基于语言或视觉特征）与这个纯视觉分类分数融合（如加权平均或直接相加）。

5. 常见陷阱、调试心得与效果评估

在实际操作中，你会遇到各种各样的问题。以下是我从经验中总结的一些关键点和排查清单。

5.1 效果不佳的排查清单

问题现象 可能原因 排查与解决思路
模型完全不收敛，Loss居高不下 1. 学习率设置过高。
2. 预训练模型权重加载错误。
3. 数据预处理（归一化、Resize）与预训练阶段不一致。
4. 检测头初始化不当。		 1. 尝试更低的学习率（如1e-5）。
2. 检查模型加载代码，确保冻结了骨干网络。
3. 确保输入图像的归一化均值和标准差与DINOv3预训练时一致（通常是ImageNet的统计量）。
4. 尝试用更小的网络或Xavier初始化检测头。
模型很快过拟合，在支持集上准确率100%，在查询集上很差 1. 数据增强强度不够。
2. 模型容量过大或微调参数过多。
3. 训练轮次过多。		 1. 增强数据增强，特别是域特异性增强（如对水下图像加蓝绿色调、模拟雾状模糊）。
2. 采用参数高效微调，如只训练LayerNorm、偏置项，或使用LoRA。
3. 使用早停策略，或在损失中增加权重衰减、Dropout。
伪标签加入后，性能反而下降 1. 伪标签置信度阈值过低，引入了大量噪声。
2. 开始生成伪标签的时机太早。
3. 伪标签与真实标签冲突（IoU过高但类别错误）。		 1. 逐步降低阈值：初期用高阈值（0.8-0.9），后期可降至0.6-0.7。
2. 延迟启动：确保模型在有监督训练下初步稳定后再加入伪标签（如20个epoch后）。
3. 在合并伪标签时，进行严格的去重（与真实标注框IoU>0.7的伪框丢弃）。
跨域性能提升不明显 1. 基础模型的特征提取能力在目标域失效。
2. 域差异过大，简单的微调无法对齐。
3. 支持集样本的代表性不足。		 1. 考虑在源域和目标域的混合数据上对基础模型进行轻量化的域适应预训练（继续学习），然后再做小样本微调。
2. 引入域对抗训练或风格迁移模块，主动对齐特征分布。
3. 尝试主动学习思路，如果条件允许，请求标注最有信息量的样本，而非随机样本。

5.2 一些重要的实操心得

  • 骨干网络的选择不是绝对的：DINOv3很强，但模型也很大。在计算资源受限时，可以尝试较小版本的DINOv2，或EVA-CLIP等模型。关键是要做消融实验，在你的特定数据上验证。
  • 数据增强是“免费”的午餐，但需要烹饪得当：不要盲目堆叠增强。观察你的目标域图像特点。如果是水下图像，增强应侧重颜色校正（减轻蓝绿色偏）、对比度增强和模糊；如果是遥感图像，则应侧重多尺度、旋转和裁剪。Mosaic和MixUp在小样本下非常有效，但要注意拼接时类别比例的平衡。
  • 评估指标要看仔细：小样本检测常用的指标是mAP（平均精度）。但要注意，在样本极度稀缺时（如1-shot），AP的波动会很大。报告结果时最好运行多次随机种子实验，汇报均值和标准差，这样才更有说服力。
  • 从简单基线开始：不要一开始就试图复现最复杂的多模块系统。建议的起步路线是：1) 冻结DINOv3 + 简单检测头微调；2) 加入强数据增强；3) 加入伪标签自训练；4) 考虑引入视觉模型集成或生成式增强。每一步都验证收益，确保你理解每个模块的作用。

跨域小样本目标检测是一个正在快速发展的领域，NTIRE 2026的方案清晰地指出了结合视觉基础模型、自训练和智能数据增强的技术方向。这套方法论的强大之处在于，它不再仅仅依赖于算法本身的精巧设计，而是巧妙地利用了如今唾手可得的大规模预训练模型和生成式AI的能力，将“数据稀缺”和“域差异”这两个难题通过“借力”和“创造”的方式予以缓解。在实际项目中，理解这些技术的原理，并根据自身数据的特性进行灵活调整和组合，才是取得成功的关键。记住，没有银弹，最好的方案永远是那个最适合你具体场景的方案。

【大模型系列】根据文本检索目标(DINO/DINOv2/GroundingDINO)
本文介绍了DINO，一种基于Transformer的无标签自监督学习方法，及其后续版本DINOv2，后者在大规模数据集上训练更强大的视觉特征。文章详细讨论了数据增强策略、损失函数优化、DINOv2的数据采集和训练方法，以及GroundingDINO在文本引导目标检测中的应用。
kabuto_hui
15394
【PyTorch项目实战】DINO系列（自监督 ViT 表征学习）
本文系统解析DINO系列自监督视觉表征学习方法，涵盖原始DINO的核心思想（教师-学生自蒸馏、EMA更新、Multi-Crop增强、防塌缩损失设计），及其演进版本：DINOv2（大规模通用视觉基础模型）、DINOv3（超大规模密集任务模型）、IDEA-DINO（端到端目标检测）、Grounding DINO（开放词汇检测）。重点阐述ViT在无标签条件下如何自发涌现语义注意力与鲁棒特征，并介绍DINOv2在图像相似度计算、IDEA-DINO在目标检测中的实战应用。
胖墩会武术
933
通过因果视觉提示实现单源域泛化目标检测
本文提出Cauvis方法，通过交叉注意力提示和双分支适配器解决单源域泛化目标检测中的虚假相关性问题。该方法结合因果推断与视觉提示，利用傅里叶变换解耦高频域不变特征，在多个基准上显著优于现有技术，提升了模型在未知域的鲁棒性和泛化能力。
AI浩
1269
【论文解读】UCOD-DPL: Unsupervised Camouflaged Object Detection via Dynamic Pseudo-label Learning
本文提出无监督伪装目标检测新方法UCOD-DPL，采用师生框架，含APM、DBA及Look-Twice机制。APM模块动态融合伪标签，DBA解码器对抗学习，Look-Twice机制二次分割小目标。消融实验显示，该方法处理小目标优势显著。
1900_
1617
RF-DETR: Neural Architecture Search for Real-Time Detection Transformers——面向实时检测Transformer的神经架构搜索
本文提出RF-DETR，一种基于权重共享神经架构搜索（NAS）的轻量级实时检测与分割Transformer模型。其核心包括：五维可调架构空间（分辨率、补丁大小、窗口数、解码器层数、查询数）、无调度器训练范式（禁用复杂学习率/增强调度，改用轻增强+层归一化），以及标准化延迟评估协议（引入200ms GPU缓冲）。在COCO和Roboflow100-VL上显著超越D-FINE、GroundingDINO等SOTA方法，首次实现COCO上60+ AP的实时检测。模型支持一次训练、千种配置部署，具备强跨域泛化能力。
Together_CZ
915
如何提升grounding dino视觉大模型在自有数据集上表现？
本文探讨了如何通过数据增强、adapter微调、使用更大规模模型、知识蒸馏以及修改损失函数等方法，提升Grounding DINO视觉大模型在自有数据集上的表现。重点介绍了在Decoder层添加Adapter模块、微调参数设置、不同位置插入Adapter层的优缺点，以及如何通过知识蒸馏和损失函数的调整来优化模型性能。
个体精进博主
715
51c深度学习~合集8
本文综述多项深度学习前沿技术：PatchMix通过图像块混合建模样本间相似性，提升对比学习泛化能力；FusionINV利用扩散反演实现红外-可见光融合并适配下游视觉模型；Sparse MoE+LLM结合稀疏专家与大语言模型Agent优化目标检测；SSTGNN以时空频谱图建模统一处理Deepfake多维伪造线索；重读Pathways论文揭示single-controller架构对veRL等强化学习框架的范式影响。所有方法均聚焦模型轻量化、跨域泛化与分布对齐。
whaosoft-143
2754