import torch from transformers import BertTokenizer, BertModel # 加载Bert预训练模型和tokenizer model = BertModel.from_pretrained('bert-base-chinese') tokenizer = BertTokenizer.from_pretrained('bert-base-chinese') # 微博文本和种子词 text = '今天天气真好，心情非常愉快！' seeds = ['天气', '心情', '愉快'] # 将微博文本和种子词转换为Bert输入格式 inputs = tokenizer.encode_plus(text, add_special_tokens=True, return_tensors='pt') seed_inputs = tokenizer.encode_plus(seeds, add_special_tokens=True, return_tensors='pt', padding=True) # 使用Bert模型获取微博文本和种子词的词向量 with torch.no_grad(): text_embeddings = model(inputs['input_ids'], attention_mask=inputs['attention_mask'])[0] # [1, seq_len, hidden_size] seed_embeddings = model(seed_inputs['input_ids'], attention_mask=seed_inputs['attention_mask'])[0] # [batch_size, seq_len, hidden_size] # 计算种子词和微博文本中所有词语的余弦相似度 text_embeddings = text_embeddings.squeeze(0) # [seq_len, hidden_size] seed_embeddings = seed_embeddings.mean(dim=1) # [batch_size, hidden_size] -> [batch_size, 1, hidden_size] -> [batch_size, hidden_size] cosine_similarities = torch.matmul(text_embeddings, seed_embeddings.transpose(0, 1)) # [seq_len, batch_size] # 获取相似度最高的词语 similar_words = [] for i in range(len(seeds)): seed_similarities = cosine_similarities[:, i].tolist() max_sim_idx = seed_similarities.index(max(seed_similarities)) similar_word = tokenizer.convert_ids_to_tokens(inputs['input_ids'][0][max_sim_idx].item()) similar_words.append(similar_word) print(similar_words)

这段代码使用了BERT模型和tokenizer对微博文本和种子词进行编码，并计算它们之间的余弦相似度，从而获取微博文本中与种子词最相似的词语。具体的流程如下：

1. 加载Bert预训练模型和tokenizer：

model = BertModel.from_pretrained('bert-base-chinese')
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')

2. 定义微博文本和种子词：

text = '今天天气真好，心情非常愉快！'
seeds = ['天气', '心情', '愉快']

3. 将微博文本和种子词转换为Bert输入格式：

inputs = tokenizer.encode_plus(text, add_special_tokens=True, return_tensors='pt')
seed_inputs = tokenizer.encode_plus(seeds, add_special_tokens=True, return_tensors='pt', padding=True)

4. 使用Bert模型获取微博文本和种子词的词向量：

with torch.no_grad():
    text_embeddings = model(inputs['input_ids'], attention_mask=inputs['attention_mask'])[0]
    seed_embeddings = model(seed_inputs['input_ids'], attention_mask=seed_inputs['attention_mask'])[0]

5. 计算种子词和微博文本中所有词语的余弦相似度：

cosine_similarities = torch.matmul(text_embeddings, seed_embeddings.transpose(0, 1))

6. 获取相似度最高的词语：

similar_words = []
for i in range(len(seeds)):
    seed_similarities = cosine_similarities[:, i].tolist()
    max_sim_idx = seed_similarities.index(max(seed_similarities))
    similar_word = tokenizer.convert_ids_to_tokens(inputs['input_ids'][0][max_sim_idx].item())
    similar_words.append(similar_word)

7. 输出最相似的词语：

print(similar_words)

该代码可以用于文本分类、文本相似度计算等NLP任务中。