mrr指标在trec-eval

中是指Mean Reciprocal Rank，是用来衡量排序效果的指标。在信息检索领域中，通常将搜索结果按照相关性得分排序，mrr指标就是用来衡量排序结果中最高相关性文档的排名位置的倒数的平均数。具体计算公式为：

MRR = 1/N * Σ(1/rank_i)

其中N为查询的总数，rank_i为第i个查询的最高相关性文档的排名。MRR值越高，表示检索系统的排序效果越好。

相关问题

知识图谱评估指标MRR

### 知识图谱 MRR 评估指标

#### 定义
平均倒数排名（Mean Reciprocal Rank, MRR）用于衡量知识图谱补全任务中模型预测的准确性。具体来说，MRR 是所有查询的倒数排名的平均值[^1]。

#### 计算方法
假设有一个测试集包含多个三元组 $(h, r, t)$，其中 $h$ 表示头实体，$r$ 表示关系，$t$ 表示尾实体。对于每一个三元组，计算其在候选列表中的排名位置 $rank_i$，然后取这些排名位置的倒数并求均值得到 MRR：

$$ \text{MRR} = \frac{1}{|Q|}\sum_{i=1}^{|Q|} \frac{1}{\text{rank}_i} $$

这里 $|Q|$ 表示测试集中三元组的数量。

为了更直观地展示如何计算 MRR，下面给出一段 Python 实现代码：

def calculate_mrr(ranks):
    """Calculate Mean Reciprocal Rank"""
    mrr = sum(1 / rank for rank in ranks) / len(ranks)
    return mrr

#### 使用场景
MRR 主要应用于知识图谱链接预测任务中，在这种情况下，给定一个部分已知的事实（即两个实体之一未知），目标是从候选项集合中找到最有可能填补空白的那个实体。通过比较不同模型产生的预测结果与实际事实的一致性程度，可以有效评估各个模型的表现优劣[^2]。