机器翻译实验：数据预处理与字典构建

“实验三：机器翻译submit1”是关于机器翻译的一个实践操作，涉及数据集的准备、词汇表构建、单词与数字的映射、句子的分词与处理以及句子长度的对齐。 在这个实验中，首先需要进行的是数据集的准备。训练集来源于WMTNewscrawl2007-14语料库，该语料库包含了德语到英语的大量翻译对，总计4208440个句子，约83971668个英文词汇。为了训练神经机器翻译模型，实验者从中抽取出50000个句子作为训练样本。 预处理阶段，关键步骤是tokenize，即把文本分解成可处理的子词单元。这里使用了`subword-nmt`工具进行预处理，目的是生成词汇表。通常会选取一定数量的最常见词汇，实验中分别尝试了取前32000个和50000个高频词汇。此外，还需在词典中加入特殊标记，例如表示未知词、句子开始和结束的符号。 接着，建立单词与数字之间的映射关系。德语文本（src_dict）和英语文本的单词分别被映射为唯一的数字，同时创建反向字典（src_rev_dict）将数字还原为单词。这个映射过程确保了每个单词都有一个唯一的编号，方便后续模型处理。 在分词处理阶段，每个句子被拆分成单词和符号，同时通过source字段标识单词属于源字典还是目标字典。若遇到不在字典中的单词，用特定标记代替。 为了训练的效率和一致性，需要保证所有句子的长度相同。这通过填充或截断实现，使得每个句子达到最大长度，超过部分会被截断。源语言和目标语言的句子处理方式类似。 最后，实验中使用了一个名为src_dict的字典来存储德语单词，并通过读取文件对单词进行编码。每一行的处理包括去除数字，保留第一个单词，并将其添加到字典中。 这个实验涵盖了机器翻译的基本流程，包括数据准备、预处理、词汇表构建、句子处理以及长度对齐，这些都是构建神经机器翻译模型的关键步骤。通过这样的实践，可以更好地理解和应用机器翻译技术。