transformer给我写一个代码，我想知道一个单词在一句话里边的重要性

Transformer模型通常用于自然语言处理任务，如机器翻译、文本分类等，但它本身并不直接提供词汇重要性的评估。BERT (Bidirectional Encoder Representations from Transformers) 或者 RoBERTa 等预训练模型可以作为基础，通过计算词嵌入的注意力权重来间接反映一个单词在句子中的重要性。

以下是一个简单的Python示例，使用Hugging Face的transformers库，我们假设已经加载了一个预训练的BERT模型：

from transformers import BertTokenizer, BertModel

# 加载预训练模型和分词器
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
model = BertModel.from_pretrained('bert-base-chinese')

def word_importance(sentence):
    # 对句子进行编码并获取隐藏层表示
    inputs = tokenizer(sentence, return_tensors='pt', padding=True)
    with torch.no_grad():
        outputs = model(**inputs)

    # 获取最后一个隐藏层的注意力矩阵
    attention_weights = outputs[0].last_hidden_state[-1].softmax(dim=1)

    # 计算每个词的平均注意力分数，越高表示越重要
    word_importances = attention_weights.mean(dim=1).tolist()[0]
    
    # 返回单词和对应的重要性得分
    return [(word, score) for word, score in zip(inputs['input_ids'][0], word_importances)]

sentence = "这是一个测试句子，我们要找出其中每个单词的重要性"
importance_scores = word_importance(sentence)