当前位置：首页 > news >正文

Error metrics for skewed datasets｜倾斜数据集的误差指标

news 2025/9/7 6:42:24

-----------------------------------------------------------------------------------------------

这是我在我的网站中截取的文章，有更多的文章欢迎来访问我自己的博客网站rn.berlinlian.cn，这里还有很多有关计算机的知识，欢迎进行留言或者来我的网站进行留言！！！

-----------------------------------------------------------------------------------------------

一、概述

在机器学习的应用中，特别是在医疗诊断领域，准确评估分类模型的性能至关重要。然而，当面对罕见疾病的分类问题时，传统的性能评估指标，如总体准确率，可能无法充分反映模型在识别稀有事件方面的能力。这是因为在罕见疾病的背景下，数据集往往高度不平衡，即负类（无疾病）的样本数量远远超过正类（有疾病）的样本数量。

本文旨在探讨在这种不平衡数据集上，如何更有效地评估分类模型的性能。我们将通过一个具体的例子来说明，即使一个模型在测试集上达到了99%的高准确率，这也可能掩盖了它在识别罕见疾病方面的不足。这是因为在只有0.5%的患者实际患有疾病的情况下，一个总是预测“无疾病”的模型也能轻易达到高准确率。

为了解决这个问题，我们将引入两个更为精细的性能评估指标：精确度（Precision）和召回率（Recall）。精确度衡量的是在所有被预测为正类的样本中，实际为正类的比例；而召回率衡量的是在所有实际为正类的样本中，被正确预测为正类的比例。这两个指标能够更全面地反映模型在处理不平衡数据集时的性能，尤其是在识别罕见疾病方面的能力。

通过本文的分析，我们希望读者能够理解在罕见疾病分类中，为什么需要超越传统的准确率指标，并学会如何利用精确度和召回率来更准确地评估和改进分类模型。

二、罕见疾病的分类例子

这幅图展示了一个罕见疾病分类的例子，其中：

训练了一个分类器 fw,b(x)，用于预测疾病是否存在。
在测试集上，该分类器的错误率为1%，即99%的诊断是正确的。
然而，只有0.5%的患者实际上患有这种疾病。
如果分类器总是预测“y=0”（即没有疾病），其错误率会是0.5%。
图中强调了即使分类器有99.5%的准确率，仍然存在1%的错误率，这在罕见疾病分类中可能是不可接受的。

三、精确度与召回率的计算

这幅图解释了精确度（Precision）和召回率（Recall）的概念，并通过一个混淆矩阵展示了这些指标的计算方法。

混淆矩阵：图中展示了一个2x2的矩阵，用于表示分类器的预测结果与实际结果的对比。
- True Positive (TP)：预测为1且实际为1的数量是15。
- False Positive (FP)：预测为1但实际为0的数量是5。
- True Negative (TN)：预测为0且实际为0的数量是70。
- False Negative (FN)：预测为0但实际为1的数量是10。
精确度（Precision）：计算公式为

这表示在所有被预测为1的样本中，有75%实际上是1。
召回率（Recall）：计算公式为

这表示在所有实际为1的样本中，有60%被正确预测为1。