4
社区成员
发帖
与我相关
我的任务
分享transformer代码实现词嵌入，nn.embedding函数详解
假设我们有一个20000个不重复单词的数据集，人工智能在数据集的索引为[5 2 0 1]
transformer模型word-embedding就是把单词的每个数字，经过embedding后，这里我们按照transformer 模型的词嵌入512维度计算
每个单词的数字变成了一个512维度的向量，由于每个单词都可以进行512维度的词嵌入，那么现在的数据维度为：[1，4，512]
1，代表输入一个句子
4，代表此句子有4个单词
512，代表每个单词进行了，512维度向量的嵌入
word-embedding很好地解决了one-hot的缺点，这里的数据维度可以自行定义，就可以大大节约了计算资源#动图详解Transformer
...全文
请发表友善的回复…
发表回复
