swin transformer模型的窗口分割与窗口复原

人工智能研究所 2023-01-13 03:43:30

课时名称	课时知识点
swin transformer模型的窗口分割与窗口复原	介绍swin transformer模型的窗口分割与窗口复原

...全文

76 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

图像恢复是一个具有挑战性的不适定问题，也是一个长期存在的问题。在过去的几年中，卷积神经网络(cnn)几乎主导了计算机视觉，并在不同层次的视觉任务中取得了相当大的成功，包括图像恢复。然而，最近基于Swin transformer的模型也表现出了令人印象深刻的性能，甚至超过了基于cnn的方法，成为高级视觉任务的最先进的技术。在本文中，我们提出了一个名为SUNet的恢复模型，它使用Swin Transformer层作为我们的基本块，然后应用到UNet体系结构中进行图像去噪。

本文解读了SwinTransformer的核心思想及其在视觉任务中的应用。首先分析了多尺度特征对检测和分割任务的重要性，指出传统方法通过FPN和UNet处理多尺度问题。随后重点阐述了SwinTransformer的创新点：1）采用窗口自注意力机制(W-MSA)降低计算复杂度；2）通过Patch Merging实现分层特征提取；3）使用shifted window策略实现窗口间通信；4）结合相对位置编码和masked MSA优化计算效率。文章还对比了Swin与ViT的差异，并介绍了SwinTransforme

在本次“ViT & Swin Transformer”实验中，我主要经历了从模型原理理解、代码实现到结果分析的完整流程。整个实验过程中遇到了一些问题，也获得了对视觉 Transformer 更深入的理解。

本文提出了一种新的vision Transformer，称为Swin Transformer，它能够作为计算机视觉的通用骨干网络。从语言到视觉的挑战来自于这两个领域之间的差异，比如视觉实体规模的变化很大【例子：在图片中，代表行人的像素点在不同图片中的大小可能不一致。但该问题在NLP领域不存在】，以及图像中像素比文本中单词的高分辨率【如果以像素点为单位进行生成，则复杂度太高】。为了解决这些差异，我们提出了一个分层Transformer，其表示是由Shifted windows计算的。

对Swin Transformer的实现原理做了简单介绍

动画详解Transformer模型以及变

4

社区成员

94

社区内容

发帖

与我相关

我的任务

transformernlp 个人社区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章