注意力机制

1.导论心理学原理动物需要在复杂环境下有效关注值得注意的点心理学框架:人类根据随意线索和不随意线索选择注意点一眼扫过去，你看到一个红色的杯子，这是随意线索，你想读书了，你看到一本书，这是不随意线索卷积、全连接、池化层都只考虑不随意线索·注意力机制则显示的考虑随意线索，随意线索被称之为查询(query)。每个输入是一个值(value)和不随意线索(key)的对通过注意力池化层来有偏向性的选择选择某些输入非参注意力池化层给定数据(xi;yi), i = 1,..., n平