知识图谱嵌入评价指标

KGE模型的性能评价指标通常包括MRR、HITS@1和HITS@10。其中，MRR是平均倒数排名，表示所有正确三元组的平均倒数排名，其计算公式为：
$$MRR=\frac{1}{|\mathcal{T}|}\sum_{(h,r,t)\in\mathcal{T}}\frac{1}{rank_{(h,r,t)}}$$
其中，$\mathcal{T}$表示测试集中的所有正确三元组，$rank_{(h,r,t)}$表示正确三元组$(h,r,t)$在模型预测结果中的排名。MRR的取值范围为$[0,1]$，其值越大表示模型性能越好。
另外，HITS@k是命中率指标，表示模型预测结果中前$k$个三元组中包含正确三元组的比例，其计算公式为：
$$HITS@k=\frac{1}{|\mathcal{T}|}\sum_{(h,r,t)\in\mathcal{T}}indicator(rank_{(h,r,t)}\leq k)$$
其中，$\mathcal{T}$表示测试集中的所有正确三元组，$indicator$函数表示条件成立时函数值为1，否则为0。HITS@1和HITS@10分别表示命中率指标中$k=1$和$k=10$的情况。HITS@k的取值范围为$[0,1]$，其值越大表示模型性能越好。

相关问题

无监督知识图谱评价指标

无监督知识图谱的评估方法和性能指标
对于无监督知识图谱而言，其评估主要依赖于内在质量评价而非外部标注数据。这涉及到多个方面的考量：
1. 结构一致性验证
通过衡量节点间连接模式是否遵循特定领域内的常识或已知规律来判断知识图谱的质量。例如，在医学知识图谱中，“药物A治疗疾病B”的关系应当合理存在。
2. 聚类有效性指数(Clustering Validity Index, CVI)
CVI 是一种常用的内部度量标准，适用于检测聚类结果的好坏程度。它能够反映簇内紧密性和簇间分离性的平衡状态。具体来说，Silhouette Coefficient 和 Davies-Bouldin Index 都是非常受欢迎的选择[^3]。
from sklearn.metrics import silhouette_score, davies_bouldin_score

def evaluate_clustering(data_points, labels):
sil_coefficient = silhouette_score(data_points, labels)
db_index = davies_bouldin_score(data_points, labels)

return {
"silhouette": sil_coefficient,
"davies-bouldin": db_index
}

3. 嵌入空间可视化(Embedding Space Visualization)
利用降维算法（如t-SNE 或 UMAP），可以将高维度的知识表示映射到二维平面上以便观察相似对象间的分布情况。这种方法有助于直观理解模型学习到的信息结构并发现潜在异常点[^2]。
import umap.umap_ as umap
import matplotlib.pyplot as plt

reducer = umap.UMAP()
embedding = reducer.fit_transform(embeddings_matrix)

plt.scatter(embedding[:, 0], embedding[:, 1])
plt.show()

4. 新颖性(Newness)与覆盖率(Coverage)
这两个指标用来量化新加入的事实相对于已有事实的比例以及整个图覆盖了多少真实世界中存在的实体/关系组合。较高的新颖性和广泛的覆盖面意味着更好的表达能力[^1]。
5. 描述逻辑系统的完备性检查
依据描述逻辑理论框架下的定义，确保所有概念、角色及其相互作用都得到恰当表述，并且不存在矛盾之处。这对于维护知识库的一致性和可靠性至关重要[^5]。

知识图谱mrr

MRR 指标的定义与计算方法
MRR 的全称是 Mean Reciprocal Ranking，中文译为平均倒数排名。这一指标用于评估知识图谱嵌入模型的性能，特别是在链接预测任务中表现如何。具体来说，它通过计算正确实体在候选列表中的倒数排名来衡量模型的表现。
定义
MRR 是指所有查询结果中正确答案排名的倒数的平均值[^1]。其核心思想在于：如果模型能够更准确地预测目标实体的位置，则该位置的倒数值会更大，从而提升整体得分。因此，MRR 越大表示模型预测效果越好。
计算公式
假设存在一组测试样本 ( Q )，对于每一个样本 ( q_i \in Q )，模型给出的目标实体排名为 ( r_i )。那么 MRR 可以按照以下公式进行计算：
[
MRR = \frac{1}{|Q|} \sum_{i=1}^{|Q|} \frac{1}{r_i}
]
其中：

( |Q| ) 表示测试样本的数量；
( r_i ) 表示第 ( i ) 个样本中正确答案的排名。

此公式的逻辑基础来源于 Reciprocal Rank (RR)[^2]，即单个查询中正确答案排名的倒数。最终通过对多个 RR 值求均值得到全局的 MRR 结果。
特点
相比其他评价标准如 MR（Mean Ranking），MRR 更加关注高精度的结果。因为即使某个错误预测具有非常低的排名也不会显著影响总分，而较高的排名贡献较大权重给总体分数[^3]。
以下是实现 MRR 计算的一个简单 Python 示例代码片段：
def calculate_mrr(ranks):
"""
Calculate the Mean Reciprocal Rank given a list of ranks.

:param ranks: List[int], rankings of correct answers across queries
:return: float, calculated MRR value
"""
reciprocal_ranks = [1 / rank for rank in ranks]
mrr_value = sum(reciprocal_ranks) / len(ranks)
return mrr_value

# Example usage
example_ranks = [1, 2, 3, 4, 5]
mrr_result = calculate_mrr(example_ranks)
print(f"MRR Value: {mrr_result}")