glove语义相似度图

GloVe（Global Vectors for Word Representation）是一种基于全局词向量的预训练语言模型。它通过统计单词出现的频率和上下文之间的共现关系来生成单词的向量表示，从而捕捉词语之间的语义关系。

使用GloVe可以生成一个语义相似度图，其中每个单词都与其他单词之间的相似度进行比较。这个图可以用来解决许多自然语言处理问题，例如词汇消歧、文本分类、语义搜索等。在语义相似度图中，相似的单词会被分配到相似的区域，从而使得它们更容易被找到和比对。

相关问题

语义相似度 专业词汇 python

### Python 中语义相似度的专业术语和实现方法

#### 一、专业术语解释

1. **词嵌入 (Word Embedding)**
词嵌入是一种将词语映射到实数向量空间的技术，使得具有相似含义的词语在该空间中有较短的距离。常用的模型包括 Word2Vec 和 GloVe。

2. **欧几里得距离 (Euclidean Distance)**
这种距离衡量的是两个向量之间的直线距离，在多维空间中用于评估两词向量间的差异程度[^1]。

3. **余弦相似度 (Cosine Similarity)**
计算两个非零向量间夹角的余弦值来判断其方向上的相似性。当两个向量越接近平行，则它们之间的角度就越小，相应的余弦值也越大，表明这两个向量更加相似。

4. **稀疏编码 (Sparse Encoding)**
将每个单词表示成高维度下的独热码形式，虽然直观易懂，但由于缺乏上下文信息而导致难以捕捉词汇间的内在联系[^2]。

5. **停用词过滤 (Stop Words Filtering)**
对于那些频繁出现却没有实质性贡献的虚词（如“的”、“在”等），可以通过预处理阶段去除这些干扰项以提高后续任务的效果[^3]。

6. **Wasserstein 距离 / 地球移动器距离 (Earth Mover's Distance, EMD 或 WMD)**
表征不同分布之间转换所需的最小工作量，应用于文档相似度测量时能够考虑整个句子结构而非单个词汇层面的信息损失情况；而简化版本称为 Relaxed Wasserstein Metric Distance(RWMD)[^4]。

7. **正则表达式 (Regular Expression)**
正则是用来描述字符串模式的强大工具，广泛应用于文本检索等领域，尽管不是直接与语义相关联，但在自然语言处理流程中扮演着重要角色[^5]。

8. **分布式表示法 (Distributed Representation)**
不同于传统的独热编码方式，通过低维稠密向量来表征每一个词汇，并且让彼此意思相近者拥有相仿数值特征，从而更好地反映真实世界里的语言现象。

9. **上下文感知模型 (Context-Aware Model)**
如 BERT 等预训练语言模型不仅关注单独字面意义还充分考虑到具体应用场景的影响因素，进而提供更为精准的结果反馈。

#### 二、Python 实现示例

下面给出一段利用 `gensim` 库加载预先训练好的 Google News 数据集上得到的 Word2Vec 模型并计算指定一对词语间相似性的代码片段：

from gensim.models import KeyedVectors

# 加载已有的 word2vec 模型文件
model_path = 'GoogleNews-vectors-negative300.bin'
wv = KeyedVectors.load_word2vec_format(model_path, binary=True)

def calculate_similarity(word_a, word_b):
    try:
        euclidean_dist = np.linalg.norm(wv[word_a]-wv[word_b])
        cosine_sim = wv.similarity(word_a, word_b)
        
        print(f"{word_a} vs {word_b}: Euclidean={euclidean_dist:.4f}, Cosine={cosine_sim:.4f}")
    
    except KeyError as e:
        print(e)


calculate_similarity('ramparts', 'Revolutions')

这段程序首先导入必要的库函数，接着定义了一个辅助函数 `calculate_similarity()` 来接收待比较的目标词汇参数并对二者执行两种不同的相似度评测操作——分别是基于欧式几何学原理以及线性代数理论框架内的运算逻辑得出结论。

基于语义相似度的算法有哪些

基于语义相似度的算法主要可以分为以下几类：

1. 基于词向量的算法：利用预训练好的词向量，如Word2Vec、GloVe等，计算词语之间的相似度。

2. 基于词典的算法：使用词典或知识图谱来计算词语之间的相似度，如Lesk算法、Wu-Palmer算法等。

3. 基于语法结构的算法：通过分析句子的语法结构，比较两个句子之间的相似度，如Tree Edit Distance算法、Dependency Tree Kernel算法等。

4. 基于语义角色标注的算法：通过对句子进行语义角色标注，比较两个句子之间的语义角色的相似度，如FrameNet算法。

5. 基于深度学习的算法：利用深度学习模型，如循环神经网络（RNN）、卷积神经网络（CNN）、注意力机制等，计算句子或文本之间的相似度，如Siamese Network算法、BERT算法等。