基于pytorch，用Bert预训练模型分别读取微博文本和手动选取的种子词生成对应词向量，然后将bert生成的种子词的词向量与微博文本的词向量进行余弦相似度计算，可以获取和种子词相似度高的词语

这个方法是一种常见的基于预训练模型的文本表示方法，可以用来做文本分类、文本聚类、检索等任务。下面是一个基于pytorch和Bert预训练模型的实现示例：

import torch
from transformers import BertTokenizer, BertModel

# 加载Bert预训练模型和tokenizer
model = BertModel.from_pretrained('bert-base-chinese')
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')

# 微博文本和种子词
text = '今天天气真好，心情非常愉快！'
seeds = ['天气', '心情', '愉快']

# 将微博文本和种子词转换为Bert输入格式
inputs = tokenizer.encode_plus(text, add_special_tokens=True, return_tensors='pt')
seed_inputs = tokenizer.encode_plus(seeds, add_special_tokens=True, return_tensors='pt', padding=True)

# 使用Bert模型获取微博文本和种子词的词向量
with torch.no_grad():
    text_embeddings = model(inputs['input_ids'], attention_mask=inputs['attention_mask'])[0]  # [1, seq_len, hidden_size]
    seed_embeddings = model(seed_inputs['input_ids'], attention_mask=seed_inputs['attention_mask'])[0]  # [batch_size, seq_len, hidden_size]

# 计算种子词和微博文本中所有词语的余弦相似度
text_embeddings = text_embeddings.squeeze(0)  # [seq_len, hidden_size]
seed_embeddings = seed_embeddings.mean(dim=1)  # [batch_size, hidden_size] -> [batch_size, 1, hidden_size] -> [batch_size, hidden_size]
cosine_similarities = torch.matmul(text_embeddings, seed_embeddings.transpose(0, 1))  # [seq_len, batch_size]

# 获取相似度最高的词语
similar_words = []
for i in range(len(seeds)):
    seed_similarities = cosine_similarities[:, i].tolist()
    max_sim_idx = seed_similarities.index(max(seed_similarities))
    similar_word = tokenizer.convert_ids_to_tokens(inputs['input_ids'][0][max_sim_idx].item())
    similar_words.append(similar_word)

print(similar_words)

在上述示例中，我们首先使用Bert模型和tokenizer加载预训练模型和字典，然后将微博文本和种子词转换为Bert输入格式（包括tokenization和padding），然后使用Bert模型获取微博文本和种子词的词向量，接着计算种子词和微博文本中所有词语的余弦相似度，最后获取相似度最高的词语。