4
社区成员
发帖
与我相关
我的任务
分享#动图详解Transformer Swin Transformer使用了一种基于窗口划分与窗口移动的注意力机制，它在计算注意力时使用了注意力掩码。
首先，Swin Transformer将输入图像划分为多个固定大小的窗口，每个窗口被视为一个独立的图像块。这种窗口划分的方法有助于减少计算复杂度，并且可以处理任意大小的输入图像。
在计算注意力时，Swin Transformer使用了注意力掩码。注意力掩码是一个二进制矩阵，用于指示哪些位置的信息应该被考虑或忽略。在Swin Transformer中，注意力掩码被用来限制每个窗口与其他窗口之间的注意力计算。
具体来说，Swin Transformer使用了一个二维的注意力掩码矩阵，其大小与窗口划分后的图像块数量相同。在计算注意力时，只有那些在注意力掩码矩阵中对应位置为0的图像块之间才会进行注意力计算，而其他位置的图像块则被忽略。
通过使用窗口划分和注意力掩码，Swin Transformer能够在处理大型图像时保持较低的计算复杂度，并且能够有效地捕捉图像中的局部和全局信息
...全文
请发表友善的回复…
发表回复
