循环神经网路 RNN

MoyiTech
2023-09-26 / 0 评论 / 44 阅读 / 正在检测是否收录...
温馨提示:
本文最后更新于2023年09月26日,已超过304天没有更新,若内容或图片失效,请留言反馈。

普通的RNN:小数据集 低算力

S=f(winXt+b)
St=f(WinXt+WSSt1+b)

变种

输入序列,单输出

lmzzfmm2.png

单输入,输出序列

lmzzfsfs.png

输入不随序列变化

lmzzfza1.png

原始的N to N的RNN要求序列等长,然而我们遇到的大部分问题序列都是不等长的,如机器翻译中,源语言和目标语言的句子往往并没有相同的长度。
下面介绍RNN最重要的一个变种:N to M。这种结构又叫Encoder-Decoder模型,也可以称之为Seq2Seq模型。

lmzzgabh.png

从名字就能看出,这个结构的原理是先编码后解码。左侧的RNN用来编码得到c,拿到c后再用右侧的RNN进行解码。得到c有多种方式:

lmzzegix.png

lmzzgjn5.png

长短期记忆网络 LSTM

lmzzgr06.png

forget gate 遗忘门

f1=sigmoid(w1[St1xt]+b1)

input gate 输入门

f2=sigmoid(w2[St1xt]+b2)tanh(w2[St1xt]+b2)
ct=f1ct1+f2
0

评论 (0)

取消