17.Transformer详解-2

ShuYunBIGDATA 2023-09-12 14:27:56

课时名称	课时知识点
17.Transformer详解-2	你是否对人工智能和自然语言处理充满好奇？想要了解ChatGPT的发展和应用？那么这门课程就是为你量身打造的！我们将带你进入ChatGPT的世界，探索其技术原理和发展历程。你将不仅获得知识，还能深入了解人工智能领域的前沿技术和发展趋势，为未来的职业发展做好准备。

...全文

41 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

1. Transformer的训练过程讲解 2. Transformer的推理过程讲解 3. Transformer的入参和出参讲解 4. nn.Transformer的各个参数讲解 5. nn.Transformer的mask机制详解 6. 实战：使用nn.Transformer训练一个copy任务。

np.reshape 规范新的shape必须

是 PyTorch 在 1.2+ 中提供的一个通用 Transformer 模块，集成了标准的 Transformer 编码器（Encoder）和解码器（Decoder）结构。它实现了 Vaswani 等人在 “Attention Is All You Need”（2017）中提出的多头自注意力加前馈网络框架，可用于机器翻译、文本生成、序列到序列建模等任务。Encoder：由个堆叠，每层包含多头自注意力和前馈网络。Decoder：由个堆叠，每层在自注意力后还对 Encoder 输出做“交叉注意力”。

原文地址目录 1. 前言 2. Transformer总体架构 3. 各个技术细节 4. 总结 5. 参考资料 1. 前言注意力机制的原理是计算query和每个key之间的相似性以获得注意力分配权重。在大部分NLP任务中，key一般也是value(basic Attention)。注意力机制一般是用于提升seq2seq或者encoder-decoder架构的表现。但这篇20...

本文将使用Pytorch提供的nn.Transformer实现英文到中文的机器翻译任务。对nn.Transformer的讲解，可以参考我的另一篇博文Pytorch中 nn.Transformer的使用详解与Transformer的黑盒讲解，建议先学习该文的CopyTask任务，然后再来看该篇就容易多了。......

任大勇的课程社区_NO_4

3

社区成员

584

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章