4.Transformer中Decoder的注意力模块为什么采用遮蔽操 作(masked)?请用文字简单描述如何实现遮蔽操作的。

Decoder的注意力模块采用遮蔽操作是为了防止Decoder在生成输出序列时关注到未来的信息，因为在生成当前时刻的输出时应该只依赖于已经生成的部分而不是未来的部分。

实现遮蔽操作的方法是在计算注意力分数时，将未来的位置的分数设置为负无穷（-inf），这样在softmax归一化时，未来位置的权重就会变为0，从而实现了遮蔽操作。在Transformer模型中，遮蔽操作通常应用于Decoder的自注意力模块中，以确保Decoder只能关注到已经生成的部分而不是未来的部分。具体实现时，可以在每个Decoder自注意力层的输入处添加一个掩码（mask），将未来的位置上的掩码设置为负无穷，这样未来的位置就会被遮蔽掉，只有当前和过去的位置能对当前位置产生注意力作用。这样，在生成输出序列时，Decoder只能根据之前的已生成部分进行推理，而无法看到未来的部分。