机器学习-RNN相关

RNN相关

simple RNN

RNN借助循环核提取时间维度特征。

simple_RNN \[ y_t= softmax(h_t w_{hy} +b_y)\\ h_t = tanh(x_t w_{xh + h_{t-1}w_{hh} + b_h}) \] 三个矩阵\(w_{hy},w_{xh},w_{hh}\)在前向传播中不变,只有在反向传播中才更新。通过控制循环层在时间维度上输出的\(h_t\)数量控制输出的序列长度。