ConvMAE：Masked Convolution 遇到 Masked Autoencoders

摘要论文地址：https://arxiv.org/pdf/2205.03892视觉转换器 (ViT) 已成为各种视觉任务广泛采用的架构。用于特征预训练的掩码自动编码 [2、1、28、55] 和多尺度混合卷积变换器架构 [12、21、49、34、57] 可以进一步释放 ViT 的潜力，从而实现最先进的图像分类、检测和语义分割的艺术表演。在本文中，我们的 ConvMAE 框架证明了多尺度混合卷积变换器可以通过掩码自动编码方案学习更多的判别表示。然而，直接使用原始掩码策略会导致计算成本和预训练-微调差异。为了