10-构建QKV矩阵

迪哥有点愁了 2023-01-12 22:45:17

课时名称	课时知识点
10-构建QKV矩阵	10-构建QKV矩阵

...全文

209 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

自注意力机制中Q/K/V矩阵的作用与缩放因子原理

也就是说，X 序列每一个长度为 Dx，输入系统（输入N 个（这里设 N=3）），则此时得到三个长度为Dk的向量，每一个向量得到一个对应的Q K V，不改变输入的 X 的对应 N 这部分的维度，但是将长度 Dx 改变为了 Dv（这里的 Dv 是可以任意设置的，只要通过操作此时从 X 到值 V 的投影操作对应的矩阵 Wv 就可以了）想要模拟全连接神经网络的思路来构建一种更好的，可以处理变长输入序列 + 捕捉长距离关系的模型，可以考虑利用注意力机制来动态地生成权重，这也就是自注意力模型的主要思路。

摘要本文深入解析了Transformer架构中的核心机制QKV（Query-Key-Value）。QKV是自注意力机制的关键组成部分：Query代表当前元素的查询需求，Key作为被查询的索引，Value包含实际信息内容。通过线性变换将输入数据转换为Q、K、V三个不同视角的表示，使模型能有效捕捉长距离依赖关系。QKV机制不仅增强了模型表达能力，还为多头注意力提供了基础。文章以机器翻译为例，展示了QKV在编码器和解码器中的具体应用，阐明了它是如何帮助模型理解语义关联并生成准确输出的。这些原理构成了GPT、BE

发生了什么？最开始，“cat” 的词向量只代表“猫”这个孤立的概念。经过 QKV 的注意力计算后，“cat”新的向量表示变成了一个加权和。它吸收了句子中其他单词的信息，尤其是它最关注的 “drank” 和 “tired”。现在，新的 “cat” 向量不仅仅是“猫”了，它是一个融合了上下文的、正在喝东西的、疲惫的猫”**。这个新的向量更好地理解了它在句子中的角色和状态。总结一下 QKV 的角色：Q (Query): 我是谁？我在找什么？(主动的探针)K (Key): 你是谁？你能提供什么？

Transformer模型通过QKV（查询-键-值）机制实现高效注意力计算。QKV源于对输入向量（词嵌入+位置编码）的三次线性变换，将语义表征分解为功能差异化的三种向量：Q（查询）引导注意力方向，K（键）提供匹配特征，V（值）承载待聚合信息。该机制通过点积计算相似度、缩放避免梯度饱和、权重归一化后聚合信息，解决了早期注意力功能耦合的问题。QKV支持自注意力和跨模态交互，使Transformer能并行处理全局依赖，成为现代深度学习的基础架构。

唐宇迪的课程社区_NO_6

1

社区成员

956

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章