PyCharm两个英语单词的相关性分析

### 如何在 PyCharm 中进行两个英语单词的相关性分析

为了在 PyCharm 中分析两个英语单词之间的相关性，可以采用自然语言处理（NLP）技术中的共现矩阵或余弦相似度方法。以下是具体实现方式：

#### 使用共现矩阵计算词语关联程度
通过构建文档-词项矩阵并统计目标词汇在同一上下文中共同出现的频率来衡量二者关系强度。

import numpy as np
from sklearn.feature_extraction.text import CountVectorizer


def co_occurrence_matrix(corpus, word1, word2):
    vectorizer = CountVectorizer().fit_transform(corpus)
    vocab = vectorizer.get_feature_names_out()
    
    try:
        idx_word1 = list(vocab).index(word1.lower())
        idx_word2 = list(vocab).index(word2.lower())

        matrix = (vectorizer * vectorizer.T).A
        
        return f"The co-occurrence score between '{word1}' and '{word2}' is {matrix[idx_word1][idx_word2]}"
        
    except ValueError:
        return "One or both of the words are not present in the corpus."

此函数接收语料库以及待比较的一对单词作为参数，返回它们之间基于共现次数得出的关系得分[^1]。

#### 利用预训练模型评估语义相近度
借助像 GPT 或 BERT 这样的大型语言模型可以直接获取两词嵌入向量表示形式，并据此计算距离指标如欧氏距离、曼哈顿距离或是更常用的余弦相似度来进行定量描述其联系紧密与否。

from sentence_transformers import SentenceTransformer, util


model = SentenceTransformer('all-MiniLM-L6-v2')


def semantic_similarity(word1, word2):
    embeddings = model.encode([word1, word2], convert_to_tensor=True)

    cosine_scores = util.pytorch_cos_sim(embeddings[0], embeddings[1])
    
    return float(cosine_scores.cpu().detach().numpy()[0])

print(f"Cosine similarity: {semantic_similarity('hello', 'world'):.4f}")

上述代码片段展示了如何利用 `sentence-transformers` 库加载一个小型化的BERT变体——MiniLM 来编码输入字符串成固定长度特征向量；之后再调用工具包内建的方法求取两者间夹角余弦值以反映意义层面的距离远近情况[^3]。