参考文献：

[1] Graves A, Fernández S, Gomez F, et al. Connectionist temporal classification: labelling unsegmented sequence data with recurrent neural networks[C]//Proceedings of the 23rd international conference on Machine learning. 2006: 369-376.

[2] Graves A. Sequence transduction with recurrent neural networks[J]. arXiv preprint arXiv:1211.3711, 2012.

[3] Jaitly N, Le Q V, Vinyals O, et al. An online sequence-to-sequence model using partial conditioning[J]. Advances in Neural Information Processing Systems, 2016, 29.

[4] Chiu C C, Raffel C. Monotonic chunkwise attention[J]. arXiv preprint arXiv:1712.05382, 2017.

[5] Speech Recognition - CTC, RNN-T and more (part 3)_哔哩哔哩_bilibili

[6] 2020 年 3月 新番 李宏毅 人类语言处理 独家笔记 CTC, RNN-T & More - 4 - 知乎 (zhihu.com)

[7] 语音识别模型CTC,RNN-T,Neural Transducer,MoCha学习笔记 - 知乎 (zhihu.com)

目录

一、Connectionist Temporal Classification（CTC）

1.1 机制

1.2 训练上的问题

1.3 CTC 是否真的可行？

1.4 CTC 存在的问题

二、RNN Transducer（RNN-T）

2.1 Recurrent Neural Aligner（RNA）

2.2 RNN-T，RNA 再改善

2.3 RNN-T 基于 RNA 的改善（添加Language Model）

三、Neural Transducer

四、Monotonic Chunkwise Attention（MoChA）

五、几大模型总结

---

 

CTC 模型在2006年就出现了，很长一段时间大家并没有用，因为CTC有比较大的问题。

一、Connectionist Temporal Classification（CTC）

1.1 机制

1. CTC 可以做到 on-line streaming speech recognition，也就是所谓的线上实时语音识别，因为其采用了单向的RNN架构。

2. CTC 只有一个 Encoder，Encoder 将输入的 xi 转为 hi 后，再通过线性的 Classifier（即先进行transform，然后再softmax）得到所有token的distribution

   

3. 由于每个acoustic features实际上都非常小，其包含的信息可能无法构成一个 token，因此它添加了新的机制，在 token 中添加新的 token：∅

   • 在不知道输出什么的时候就可以输出这个token ∅

   • CTC 在忽略降采样（down sampling）的情况下：输入 T 个acoustic features，就会输出 T 个tokens

   • 最后，CTC 会将重复的 tokens 融合，将 token ∅ 删除。

     

1.2 训练上的问题

1. 那么 CTC 应该如何训练呢，理论上来说应该计算每个输出的 token distribution 与 正确的 one-hot vector的交叉熵，但是实际上由于其 acoustic features 太短，输出的token 远多于正确的token数量，你并不知道每个正确的 label 到底是什么。

2. 所以很大程度上，我们需要自己制造出可以拿来 training 的 label。

3. 这样自己制造 label 的操作我们叫做 Alignment。

4. 那么这就导致，实际上会有很多种 Alignment 的方法，比如下图，对于4个 token 输出，truth 只有两个 token（好棒），我们有很多种 Alignment 的方法。 那么我们应该如何选择 label 来进行训练呢？最后的结果是：我全都要！将所有可能的 Alignment 结果拿来进行训练。

   

1.3 CTC 是否真的可行？

• 下面是一些使用不同的 token 通过 CTC 进行语音辨识的结果：

  

• 下面是针对不同的Model，使用相同的数据集，进行的对比实验。

  

  • 其中，WER就是错误率。

  • 我们不难看出，CTC后面必须要加上进一步的处理（Language Model）才能看起来不错

  • 因此很多人甚至将 CTC 踢出了 end2end model 的行列中去。

1.4 CTC 存在的问题

• 我们可以将 CTC 最后的线性分类器视为 Decoder，这些 Decoder 一次只吃一个 h vector，输出一个 token，且每个 Decoder 都是独立的

• 那么就会遇到下面这样的问题：

  • 前三帧确实都对应token “c”，其共同组成了一个 “c” 的发音

  • 由于每个 Classifier 都是独立的存在，如果第一帧识别为 c ，第二帧听不懂识别为 ∅，第三帧又识别为 c

  • 那么就会导致 CTC 结果类似于结巴的存在，最后输出为 “cc”

    

  • 但是我们可以期待 Encoder 能够学习到，当第一个 acoustic feature 识别为 c，第二个识别为 ∅ 后，第三个在识别中能够适当降低 c 的概率。

实际上，还有一种方法，那就是将 LAS 和 CTC 一起结合起来，在 LAS 进行 Encoder 的过程中同时进行 CTC，同时训练两个模型，同时有两个 Loss。实际上，我们就可以把 CTC 看作 LAS 的 Encoder。

二、RNN Transducer（RNN-T）

2.1 Recurrent Neural Aligner（RNA）

虽然 RNA 比 RNN-T 要晚一点发表，但是从模型的衍化角度来讲，RNA 是介于 RNN-T 和 CTC 之间的过渡

LSTM（长短时记忆网络，Long Short-Term Memory）：RNN 的变体，专门设计用于处理序列数据，如文本、语音和时间序列。与传统的 RNN 相比，LSTM 具有更强的记忆能力和防止梯度消失问题的机制，使其在处理长序列数据时表现更好。

• 为了解决 CTC 中，每个 Classifier 都是在独立识别的弱点

• RNA 其实就是将 CTC 的 Linear Classifier 换为 LSTM

  

2.2 RNN-T，RNA 再改善

RNA 再改动改动就能成为 RNN-T。

• 考虑一个问题，我们是否能将一个 vector map 识别为一串 token ？比如说听到了 “/θ/、/ð/”，识别为 th

• RNN-T 就可以这样，RNA是只输入一个 vector，输出一个 token，而 RNN-T 却可以在同一个 vector 上一直输出 token，直到model觉得满意为止（可以以 ∅ 为号来作为结束标志）

  

• 比如下面这个例子：

  

  • 这里，每一个 ∅ 都代表一个 acoustic feature 的识别结束，下一个识别的开始。

  • 因此，实际上，原始输出中，将会有 T 个 ∅ 存在。（这里的 T 就是之前提到的，输入的 acoustic feature 数量）

• 但是，这也就导致了和 CTC 一样的训练上的问题，即数据集的 Alignment 问题。给的数据是没有何时用 ∅ 的，那也就会导致下面的情况：

  

  • 在这里，输入了4个 acoustic features，对应着 “好棒” 的语音，然而，我们并不知道 ∅ 应该放在什么位置

  • 那么 RNN-T 选择的应对方法和 CTC 一样，穷举，全都训练！

2.3 RNN-T 基于 RNA 的改善（添加Language Model）

• 实际上，RNN-T 并未像 RNA 那样，将原来的线性分类器替换为一个 RNN，而是单独训练了一个RNN模型作为LM，来实现分类器互相之间的 dependency。

  

  • 也就是图中，最上方的蓝色方块。它会接收一个上一个生成的token，去产生一个输出，来影响下一个 token 的产生

  • 不过，这个RNN选择无视 ∅ 符号，这里有几点原因：

    • 首先，这实际上是作为了一个 LM 的角色，它的输入就只能是 token。 在训练它的时候，是先使用大量的文字做 pre-training，但是文字中并没有 ∅ 符号，因此将 ∅ 忽略。

    • 其次，我们在前面说过，对于 Alignment 问题，我们选择了穷举，也就是必须要使用一个好的演算法，这就需要一个无视 ∅ 的LM。因此，这个设计是为了模型训练而设计的。而模型采用的演算法我们将在下面介绍。

三、Neural Transducer

CTC, RNA, RNN-T 每次只读一个 acoustic feature，而 Neural Transducer就是一次读很多的 acoustic features

• Neural Transducer 在一个window（自己设定大小）中一次读很多个 acoustic features，通过注意力机制进行处理，最终输出一串 token。

• 注意，在使用 attention 时，仅在一个 window 中使用。

  

• window 应该有多大？原论文实验结果：

  

  • 有 attention 还是不错滴~

  • 这里补充一点，上面的 LSTM-ATTENTION 就是一个之前介绍的 Location-aware attention。

四、Monotonic Chunkwise Attention（MoChA）

MoChA 在 Neural Transducer 的基础上，将窗口移动的步数变为了动态的。

• MoChA 重点在于多加了一个Module，这个Module和注意力机制类似：

  • Input：两个 vector，隐藏状态 与 acoustic feature

  • Output：yes/no，即窗口是否放在这里

    

• 推理过程：

  • 首先，先一个一个 frame 输入，看看是否要将窗口放进来

    

  • 放下窗口后，运行attention机制，生成一个 token。注意，这里一个窗口只生成一个 token，且不会输出 ∅ 。

    

  • 然后再进行之前的步骤，继续移动窗口并看是否要将窗口放下来，放下来以后继续输出文字。

    

五、几大模型总结

• LAS：就是 seq2seq

• CTC：decoder 是 linear classifier 的 seq2seq

• RNA：输入一个东西就要输出一个东西的 seq2seq

• RNN-T：输入一个东西可以输出多个东西的 seq2seq

• Neural Transducer：每次输入一个 window 的 RNN-T

• MoCha：window 移动伸缩自如的 Neural Transducer

语音识别任务讲解到此结束。除此之外，还有3节语音识别任务的选修课，推荐趁热打铁去本文章所属专栏中查看选修一、选修二和选修三。