patch成为了ALL You Need?挑战ViT、MLP-Mixer的简单模型来了

OneFlow深度学习框架 2021-10-08 14:43:47

#Vision Transformer#等视觉模型的强大性能,是来自于#Transformer# 架构,还是patch?研究者提出了简单 ConvMixer 模型进行证明,直接将 patch 作为输入,实验表明,ConvMixer 性能优于 ResNet 等经典视觉模型,并且在类似的参数计数和数据集大小方面也优于 ViT、MLP-Mixer 及其一些变体。论文:https://openreview.net/pdf?id=TVHS5Y4dNvM;代码:https://github.com/tmp-iclr/convmixer

 

...全文
161 点赞 收藏 回复
写回复
回复
切换为时间正序
请发表友善的回复…
发表回复

还没有回复,快来抢沙发~

相关推荐
发帖
OneFlow深度学习框架
创建于2021-07-12

142

社区成员

不止于成为世界上最快的开源深度学习框架
帖子事件
创建了帖子
2021-10-08 14:43
社区公告
暂无公告