Teacher Forcing
RNN 在训练过程中的问题
训练迭代过程早期的 RNN 预测能力非常弱，几乎不能给出好的生成结果。如果某一个 unit 产生了 垃圾结果，必然会影响后面一片 unit 的学习。Teacher Forcing 最初的 motivation(动机) 就是解决这个问题的。
RNN 的两种训练模式
1、free-running mode：训练过程中的每个时刻，使用上一个 state 的输出作为下一个 state 的输入。
2、teacher-forcing mode：一种快速有效地训练神经网络的方法，该模型使用来自先验时间步长的输出作为输入。
什么是 Teacher Forcing?
以 Seq2Seq 为例，在训练过程中， 时刻 Decoder 的输入为 "<SOS>"，输出可能并不是正确的结果 "the"，假如输出了了一个错误的结果 "like"。这时，到了 时刻，应该
