深度学习笔记之vanilla RNN

RNN

计算图展开

比如：

$${\mathit{s}}^{(t)}=f({\mathit{s}}^{(t-1)};\mathit{\theta })$$

$t=3$ 时展开（索引从 1 开始）：

$${\mathit{s}}^{(3)}=f(f({\mathit{s}}^{(1)};\mathit{\theta });\mathit{\theta })$$

vanilla RNN

两种设计

$$\mathit{x}\stackrel{\mathit{U}}{\to }\mathit{h}\stackrel{\mathit{V}}{\to }\mathit{o}\to L\leftarrow \mathit{y}$$

其中：

• $\mathit{x}$：输入
• $\mathit{y}$：输出
• $\mathit{h}$：hidden
• $\mathit{o}$：output
• $L$：loss

有两类：

1. 包含隐藏到隐藏的循环 ${\mathit{h}}^{(t-1)}\stackrel{\mathit{W}}{\to }{\mathit{h}}^{(t)}$
2. 包含输出到隐藏的循环 ${\mathit{o}}^{(t-1)}\stackrel{\mathit{W}}{\to }{\mathit{h}}^{(t)}$

第二类没第一类强大，因为输出层需要完成模型的监督学习任务，所以不能捕捉用于预测未来的关于过去的信息，除非输出本身包含了需要的信息。但第二类训练时可以通过导师驱动过程实现不同时刻的并行化。

具体的更新方程（第一类）：

$$\begin{gathered} {\mathit{a}}^{(t)}=\mathit{b}+\mathit{W}{\mathit{h}}^{(t-1)}+\mathit{U}{\mathit{x}}^{(t)} \\ {\mathit{h}}^{(t)}=\tanh ({\mathit{a}}^{(t)}) \\ {\mathit{o}}^{(t)}=\mathit{c}+\mathit{V}{\mathit{h}}^{(t)} \\ {\widehat{\mathit{y}}}^{(t)}=<mtext\; style="border-color:\; currentcolor;">softmax</mtext>({\mathit{o}}^{(t)}) \end{gathered}$$

其中  是模型参数。

导师驱动过程

如果模型对于 $t-1$ 时刻的信息，只需要 ${\mathit{o}}^{(t-1)}$ 输入到 $t$ 时刻，那么可以将数据集中给出的 ${\mathit{y}}^{(t-1)}$ 作为 $t$ 时刻需要的 ${\mathit{o}}^{(t-1)}$，这样实现了在训练时的并行化。

这样训练时并不是最大似然估计，因为往 $p_{\text{model}}$ 的预测过程里加了数据集里的真实值，会导致训练和预测时来自上一步的输入分布不一致，即曝光偏差（exposure bias）。

BPTT

RNN 中进行完整的反向传播（BP）速度和内存占用都是 $\mathcal{O}(\tau )$，随时间反向传播（BPTT）方法通过限制反向传播的时间步数来控制成本。

待补充：花书 10.2.2 - 10.9