Google等团队提出了分层Transformer模型Hourglass

[OneFlow深度学习框架]

华沙大学、#OpenAI# 和 #Google# Research团队共同提出了 #Hourglass# ，这是一种分层的 #Transformer# 语言模型，可以对缩短的序列进行操作，以减轻 Transformer 的巨大计算负担。结果表明，所提出的分层 Transformer 架构能够处理更长的序列并平衡效率和准确性的最优解。研究人员建议未来的工作可以专注于缩短机制本身并为特定任务选择最佳分层结构。论文：https://arxiv.org/abs/2110.13711