[MASK]标记代码

在使用 PyTorch 进行自然语言处理任务时，使用 [MASK] 标记可以用于模型中的 Masked Language Modeling 任务。下面是一个示例代码，用于将输入文本张量中的某些位置替换为 [MASK] 标记：

import torch

# 定义输入文本张量
input_tensor = torch.tensor([[1, 3, 5, 7, 9], [2, 4, 6, 8, 10]])

# 定义要替换为 [MASK] 的位置
masked_indices = torch.tensor([[1, 3], [0, 4]])

# 将输入文本张量中对应位置替换为 [MASK]
input_tensor[torch.arange(input_tensor.size(0)).unsqueeze(1), masked_indices] = torch.ones_like(masked_indices) * torch.tensor([mask_token_id])

print(input_tensor)

其中，`input_tensor` 是输入的文本张量，`masked_indices` 是需要替换为 [MASK] 的位置，`mask_token_id` 是 [MASK] 标记在词表中的索引。在上面的代码中，我们使用了 PyTorch 的高级索引技巧将需要替换的位置替换为 [MASK] 标记。