深度学习笔记：机器翻译详解(注意力机制+Seq2seq&Transformer)

深度学习笔记 - 机器翻译入门：注意力机制与Seq2seq模型及Transformer 机器翻译是一种自然语言处理任务，目标是将一段文本从一种语言自动转换成另一种语言，利用神经网络技术解决这一问题，即神经机器翻译（NMT）。NMT的主要特点是输出是一个完整的单词序列，而非逐词翻译，这使得模型能够捕捉到语言结构的连续性。输出序列的长度通常与输入源序列长度不固定，因此需要处理变长的序列。 在实现机器翻译时，代码首先导入必要的库，如os、sys、d2l等，这些库将在后续的数据预处理、模型构建和训练过程中扮演重要角色。例如，通过`os.listdir`获取文件夹内容，`sys.path.append`用于设置模块搜索路径，`coll`可能是`collections`模块的简称。 数据预处理阶段，文本读取并进行清理，去除非字母字符，将所有字符转换为小写，并通过`preprocess_raw`函数进一步处理，确保数据适合模型输入。例如，对英文和法文文本中的标点符号进行处理，并合并连续的空格。 接下来，将文本分割成单独的句子（lines），然后每行进一步分解成单词，形成源语言和目标语言的句子对。这为后续的编码器-解码器（Encoder-Decoder）模型提供了基础数据，编码器负责捕获源语言的上下文信息，而解码器则基于这些信息生成目标语言的翻译。 注意力机制是提高机器翻译性能的关键，它允许模型在解码过程中关注源序列的不同部分，根据当前生成的单词选择最相关的部分进行翻译。Seq2seq模型是早期广泛应用的框架，它包含一个编码器和一个循环神经网络（RNN）或长短期记忆网络（LSTM）的解码器。然而，Transformer模型引入了自注意力机制，它完全放弃了RNN，通过多头注意力机制和位置编码加速了模型的训练速度和翻译质量。 在Transformer模型中，编码器和解码器都是由多个自注意力层和前馈神经网络（FFN）组成的，每个层都有自注意力机制，使得信息在网络中更加高效地传播。此外，编码器输出的固定大小的向量（即“编码器隐藏状态”）作为解码器的输入，减少了长距离依赖的问题。 这个深度学习笔记介绍了机器翻译的基本概念、主要特点，以及如何通过注意力机制和Seq2seq模型（如基于RNN的版本）或Transformer模型来实现自动翻译。它涵盖了数据预处理、模型架构以及如何通过编码器和解码器处理变长序列的过程。通过学习这些内容，读者将能理解并实践现代神经机器翻译的核心技术。