LSTM中哪些新的状态应该被加入？

007生活节奏 2022-04-26 09:53:16

LSTM中哪些新的状态应该被加入？

...全文

2098 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2022-04-28

打赏
举报

回复

继续上面的例子，新进来的主语自然就是应该被加入到细胞状态的内容，同理也是靠sigmoid函数来决定应该记住哪些内容。但是值得一提的是，需要被记住的内容并不是直接

concatenate的输入和上一时刻的输出，还要经过tanh，这点应该也是和RNN保持一致。并且需要注意，此处的sigmoid和前一步的sigmoid层的w和b不同，是分别训练的层。

细胞状态在忘记了该忘记的，记住了该记住的之后，就可以作为下一时刻的细胞状态输入了。

经过几十年的研究与发展，语音识别建立了以隐马尔可夫模型（Hidden Markov Models，HMM）为基础的框架。近几年，在HMM基础上深度神经网络(Deep Neural Network，DNN)的应用大幅度提升了语音识别系统的性能。DNN将每一帧语音及其前后的几帧语音拼接在一起作为网络的输入，从而利用语音序列中上下文的信息。DNN中每次输入的帧数是固定的，不同的窗长对最终的识别结果会有影响。递归神经网络（Recurrent neural network，RNN）通过递归来挖掘序列中的上下文相关信息，在一定程度上克服了DNN的缺点。但是RNN在训练中很容易出现梯度消失的问题，无法记忆长时信息。长短期记忆单元（Long Short-Term Memory，LSTM）通过特定的门控单元使得当前时刻的误差能够保存下来并选择性传给特定的单元，从而避免了梯度消失的问题。本文对RNN及LSTM的基本原理进行了介绍，并且在TIMIT语音数据库上进行了实验。实验结果表明，LSTM型递归神经网络在语音识别上的可以取得较好的识别效果

清晰版LSTM原文章

tensorflow下用LSTM网络进行时间序列预测，实时多变量预测以及对于未来数据的单变量预测。

2.LSTM核心内容LSTM 的关键就是细胞状态（cell），水平线在图上方贯穿运行。细胞状态类似于传送带。直接在整个链上运行，只有一些少量的线性交互。信息在上面流传保持不变会很容易。 LSTM 有通过精心设计的称作为“门”的结构来去除或者增加信息到细胞状态的能力。门是一种让信息选择式通过的方法。他们包含一个 sigmoid 神经网络层和一个 pointwise 乘法操作。 Sigmoid 层输...

高通开发者论坛

2,852

社区成员

5,758

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章