澄清宏F1的两种计算方法差异

本文档深入探讨了"Macro F1"这一在二元、多类和多标签分类问题中常用的评估指标的两种计算方法，即"平均F1"（Averaged F1）和"F1 of Averages"。作者Juri Opitz和Sebastian Burst指出，尽管Macro F1被广泛采用，但这两个公式在实际应用中的计算结果并不总是等价的。他们发现，在某些特殊情况下，如当错误类型分布不均时，"平均F1"倾向于奖励那些产生偏斜错误分布的分类器。 首先，他们明确了计算方法的基础。对于给定的分类器f: D → C，其中D是输入空间，C是类别集合，定义一个混淆矩阵mf_S，表示模型在数据集S上的预测与真实结果的对比。矩阵的元素mf_S_ij 表示预测为第i类且实际为第j类的样本数量。 Precision (P), Recall (R) 和 F1-score 是基于混淆矩阵计算的，其定义如下： - Precision (P_i): 计算公式为 Pi = m_{ii} / Σ(x=1到n) m_{ix} - Recall (R_i): 计算公式为 Ri = m_{ii} / Σ(x=1到n) m_{xi} - F1-score (F1_i): 是 Precision 和 Recall 的调和平均值，即 F1_i = 2 * Pi * Ri / (Pi + Ri) 文档中提到，当两个计算方法应用于不同类型的分类问题时，可能会出现以下差异： 1. **性能度量**：在错误类型分布不均衡的情况下，"平均F1"倾向于对那些能减少某一类别的误报或漏报的模型给予更高的分数，这可能导致与"F1 of Averages"的计算结果有显著差异。 2. **数值差异**：理论上，两者之间的最大差异可以达到0.5，这意味着在某些特定条件下，它们得出的评分差距可能非常大。 3. **排名影响**：除了数值上的不同，两个计算公式也可能导致不同的分类器排名。这意味着即使在F1得分上看似相近的模型，根据具体的计算方法，其实际性能评价可能截然不同。 因此，使用哪种方法取决于具体的应用场景和研究目的。如果关注的是各类别表现的平均效果，"平均F1"可能是合适的选择；而如果希望得到更加平衡和全面的评价，或者对错误类型敏感，那么"F1 of Averages"可能更恰当。在实际工作中，理解这两种计算方法的异同，并根据任务需求选择合适的指标至关重要。