Transformer如何解决句子不定长的问题？

关注走一波 2021-10-27 15:26:57

Transformer如何解决句子不定长的问题？

...全文
2320 1 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
weixin_38498942 2021-10-28
  • 打赏
  • 举报
 回复

通过设定句子的最大长度来解决，对于不那么长的句子，则通过padding进行填充。这个其实限制了其处理较长句子的能力，也算是其一个缺点吧。

如何在Transformer模型中处理长文本序列？
如何在Transformer模型中处理长文本序列？处理长文本序列是Transformer模型中的一个重要挑战。由于Transformer模型中的自注意力机制在每个位置都需要关注所有其他位置，因此长文本序列会带来较大的计算和存储成本。
什么是 Transformer 模型以及它们如何工作？
什么是 Transformer 模型以及它们如何工作？
transformer学习笔记2（如果输入为不定长的文本，encoder如何将其编码为固定长度的向量？一般这个向量有哪几个维度？如何理解这些维度？）
在原始的序列到序列（seq2seq）模型中，Encoder确实会将不定长的输入文本编码为一个固定长度的向量，这个过程通常通过循环神经网络（RNN），如长短期记忆网络（LSTM）或门控循环单元（GRU）来实现。不过需要注意的是，尽管输出是一个固定大小的向量，但这个向量可能并不是直接对整个输入序列进行简单压缩得到的单一固定维度向量，而是通过对最后一个时间步隐藏状态（hidden state）或其加权和（如在双向LSTM中的情况）来近似表示整个序列的上下文信息。这个维度数代表了向量能够表达的不同特征的数量。
Transformer-XL论文笔记
会议： ACL 2019 论文地址 Transformer相关知识 Transformer 一、研究动机 transformer对于输入序列需要设置一个固定的长度，比如在BERT中，默认长度是512。如果文本序列长度短于固定长度，可以通过填充的方式来解决，如果序列长度超过固定长度，一般是将文本划分为多个segments进行单独处理，以Transformer为主的语言模型不能很好地处理超过预定义长度的文本，即模型不能捕获任何超过预定义上下文长度的长期依赖 二、研究方法 本文提出了一种新的神经体系结构Tra
Transformer-XL介绍-transformer和BERT固定长度切分存在的问题和解决方案
Transformer-XL介绍张备做算法的​关注他ShuYini 等 97 人赞同了该文章专栏之前的多篇文章都是关于推荐的，接下来几篇跟NLP相关。Transformer-XL来自于论文《Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context》，附个论文链接，<https://arxiv.org/abs/1901.02860>。Transformer在本专栏的第一篇已经介绍过了，不了解的同学可以看一下这篇文
高通开发者论坛

2,852

社区成员

5,758

社区内容

发帖
与我相关
我的任务
社区描述
本论坛以AI、WoS 、XR、IoT、Auto、生成式AI等核心板块组成，为开发者提供便捷及高效的学习和交流平台。 高通开发者专区主页：https://qualcomm.csdn.net/
人工智能物联网机器学习 技术论坛（原bbs） 北京·东城区
社区管理员
  • csdnsqst0050
  • chipseeker
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章