LSTM 中的输入门 (input gate) 的作用是什么?

2023-08-24 / 资讯 / 95 阅读

    LSTM (Long Short-Term Memory) 中的输入门 (input gate) 是控制信息是否被传递到细胞状态的关键组件之一。它的作用是确定在当前时间步长,多少新的输入信息应该被纳入到细胞状态中。

    具体来说,输入门有两个关键部分:一个是 Sigmoid 激活函数,用于控制信息的忘记或记忆程度;另一个是 Tanh 激活函数,用于控制信息的更新程度。

    首先,Sigmoid 激活函数会将输入数据通过一个[0, 1]区间的范围内,并表示为一个概率值。这个值确定了之前的细胞状态中有多少信息是应该被忘记的,以及当前的输入有多少信息是应该被记忆的。

    其次,Tanh 激活函数作用于当前的输入数据,将其映射到一个[-1, 1]的范围内。这个值表示了新输入的信息应该更新细胞状态的程度。

    通过将Sigmoid激活函数的输出与Tanh激活函数的输出进行按元素乘法操作,可以确定更新的程度。然后,将更新后的值与先前的细胞状态相加,得到新的细胞状态。

    输入门的作用可以总结为两点:

    1. 控制旧的细胞状态中哪些信息需要忘记,哪些需要保留;

    2. 控制当前时间步的新输入信息对细胞状态的更新程度。

    通过输入门的控制,LSTM可以选择性地记忆某些信息,过滤掉一些不重要的信息,并根据新的输入信息做出相应的更新,进而提供更好的模型性能。

#免责声明#

  本站所展示的一切内容和信息资源等仅限于学习和研究目的,未经允许不得转载,不得将本站内容用于商业或者非法用途。
  本站信息均来自AI问答,版权争议与本站无关,所生成内容未经充分论证,本站已做充分告知,请勿作为科学参考依据,否则一切后果自行承担。如对内容有疑议,请及时与本站联系。