Swin Transformer是一种新型的Transformer模型，它采用了分层的局部注意力机制来提高模型的效率和准确性。在Swin Transformer中，移动窗口操作是一种非常重要的技术，它可以有效地减少模型计算量。 我们知道Swin Tr

颠覆性尝试：基于TransUNet与Swin-UNet的雨天道路语义分割对比分析 双模型赋能恶劣天气感知：Transformer架构在雨天道路分割中的首次深度较量

基于TransUnet和Swin-Unet 实现的医学图像语义分割对比项目：雨天道路分割 数据集采用【雨天道路分割】，数据在data目录下，划分了训练集和验证集。【代码可一键运行】 【介绍】分割网络为TransUnet和Swin-Unet （可以自行选择），学习率采用cos余弦退火算法。如果想在大尺度进行训练，修改base-size参数即可，优化器采用了AdamW。评估的指标为dice、iou、recall、precision、f1、pixel accuracy等等，代码会对训练和验证集进行评估，结果保存runs下的json文件中。 网络推理的时候采用可视化推理，运行infer脚本会打开本地网页，上传图片即可进行推理 更多医学图像语义分割实战：https://blog.csdn.net/qq_44886601/category_12816068.html 图像分类、语义分割网络改进：https://blog.csdn.net/qq_44886601/category_12858320.html

【论文阅读】Swin transformer解读

文章目录前言Abstract1. Introduction2. Related Work3. Method3.1 Overall Architecture3.2 Shifted Window based Self-Attention3.3 Architecture Variants4. 结果4.1 KITTI上的BEV目标检测5. 总结 前言 1. 为什么要做这个研究？ 2. 实验方法是什么样的？ 3. 得到了什么结果？ Abstract Swin Transformer可以作为计算机视觉的通用主干。将

李沐精读论文：Swin transformer: Hierarchical vision transformer using shifted windows

李沐精读论文：Swin transformer: Hierarchical vision transformer using shifted windows patch partition Linear Embedding swin transformer block

基于TransUnet和Swin-Unet 实现的医学图像语义分割对比项目：视盘视杯分割

基于TransUnet和Swin-Unet 实现的医学图像语义分割对比项目：视盘视杯分割 数据集采用【视盘视杯分割】，数据在data目录下，划分了训练集和验证集。【代码可一键运行】 【介绍】分割网络为TransUnet和Swin-Unet （可以自行选择），学习率采用cos余弦退火算法。如果想在大尺度进行训练，修改base-size参数即可，优化器采用了AdamW。评估的指标为dice、iou、recall、precision、f1、pixel accuracy等等，代码会对训练和验证集进行评估，结果保存runs下的json文件中。 网络推理的时候采用可视化推理，运行infer脚本会打开本地网页，上传图片即可进行推理 更多医学图像语义分割实战：https://blog.csdn.net/qq_44886601/category_12816068.html 图像分类、语义分割网络改进：https://blog.csdn.net/qq_44886601/category_12858320.html

2021：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

摘要 本文提出一种新的视觉Transformer----Swin Transformer，它可以成为计算机视觉的通用主干。从语言到视觉采用Transformer的挑战来自于这两个领域之间的差异，比如视觉实体的规模变化很大，以及图像中像素比文本中单词的高分辨率。为解决这些差异，我们提出了一个分层Transformer，其表示是由移动窗口计算的。移动的窗口方案将自注意力计算限制在非重叠的局部窗口上，同时允许跨窗口连接，从而提高了效率。这种层次结构具有在不同尺度上建模的灵活性，并且对图像大小具有...