WordSim353评价词向量

WordSim353是一个常用的词汇相似度评价数据集，用于评估词向量模型的性能。以下是使用Python计算WordSim353评价词向量的示例代码：

import csv
import numpy as np
from gensim.models import KeyedVectors

# 加载词向量模型
model = KeyedVectors.load_word2vec_format('word2vec.bin', binary=True)

# 加载WordSim353数据集
word_pairs = []
with open('wordsim353.csv', 'r') as f:
    reader = csv.reader(f)
    next(reader) # 跳过标题行
    for row in reader:
        word_pairs.append((row[0], row[1], float(row[2])))

# 计算预测相似度分数
predicted_scores = []
for pair in word_pairs:
    if pair[0] in model and pair[1] in model:
        score = model.similarity(pair[0], pair[1])
        predicted_scores.append(score)

# 计算相关系数
correlation = np.corrcoef(predicted_scores, [pair[2] for pair in word_pairs])[0][1]
print('Correlation:', correlation)

在这个示例中，我们使用gensim库加载Word2Vec词向量模型，然后从文件中读取WordSim353数据集。使用模型计算单词对的相似度分数，并将计算结果与人工定义的分数进行比较，最终返回相关系数作为评价结果。