sample函数的实现

`sample`函数是用来从模型的输出分布中随机采样一个符号的函数。以下是一个简单的实现：

import torch

def sample(model, input_ids, temperature=1.0):
    with torch.no_grad():
        # 计算模型的输出
        output = model(input_ids)
        logits = output.logits
        # 对输出进行温度调节
        scaled_logits = logits / temperature
        # 通过 softmax 函数获得概率分布
        probabilities = torch.softmax(scaled_logits, dim=-1)
        # 从概率分布中采样一个符号
        sampled_token = torch.multinomial(probabilities, num_samples=1)
        return sampled_token.item()

该函数接受一个模型、一个输入序列和一个温度参数作为输入，并返回一个随机采样的符号。在函数中，首先计算模型的输出，然后将输出通过softmax函数转换为概率分布。接下来，将概率分布缩放到合适的温度，然后使用multinomial函数从概率分布中采样一个符号，并返回它的索引。如果需要，可以将索引转换为符号。