transformer语音

Transformer音编码器是一种用于语音识别的模型。它使用自注意力机制来考虑所有历史信息，并通过编码器层将语音信号转换为表示向量。然而，由于Transformer模型在处理长语音时的存储和计算复杂度线性增加，因此对于流式语音识别来说不太适用。为了解决这个问题，华为提出了Conv-Transformer Transducer，通过在Transformer层之间添加卷积层来降低帧率，并获取未来信息。这种结构能够显著降低训练内存需求，并且不会损失精度。