当前位置：首页 > news >正文

在分类任务中，显著性分析

news 2025/5/11 1:37:06

在二分类任务中，显著性分析主要用于验证模型性能差异、特征重要性或分类变量关联性。以下是关键分析方法及Python实现代码：

一、模型性能差异的显著性分析

AUC差异检验（Delong Test）
用于比较两个模型的ROC-AUC值是否显著不同，基于Mann-Whitney U统计量实现：

import numpy as np
from scipy import statsclass DelongTest:def __init__(self, preds1, preds2, label, alpha=0.05):self.preds1 = preds1self.preds2 = preds2self.label = labelself.alpha = alphaself._compute_z_p()def _compute_z_p(self):X_A = [p for p, a in zip(self.preds1, self.label) if a]Y_A = [p for p, a in zip(self.preds1, self.label) if not a]X_B = [p for p, a in zip(self.preds2, self.label) if a]Y_B = [p for p, a in zip(self.preds2, self.label) if not a]auc_A = self._auc(X_A, Y_A)auc_B = self._auc(X_B, Y_B)# 计算协方差矩阵和Z值var_A = ...  # 具体协方差计算见完整代码z = (auc_A - auc_B) / np.sqrt(var_A + var_B - 2*covar_AB)p = stats.norm.sf(abs(z)) * 2print(f"Z={z:.3f}, p={p:.5f}")# 示例用法
preds_A = [0.8, 0.7, 0.6, 0.5, 0.4]
preds_B = [0.9, 0.6, 0.7, 0.5, 0.3]
labels = [1, 1, 0, 0, 1]
DelongTest(preds_A, preds_B, labels)

Bootstrap重抽样法
通过重采样生成性能指标（如准确率）的置信区间，判断差异显著性：

from sklearn.utils import resampledef bootstrap_ci(y_true, y_pred, metric, n_iter=1000, alpha=0.95):scores = []for _ in range(n_iter):idx = resample(np.arange(len(y_true)))score = metric(y_true[idx], y_pred[idx])scores.append(score)lower = np.percentile(scores, (1-alpha)*50)upper = np.percentile(scores, 100 - (1-alpha)*50)return (lower, upper)# 示例：计算准确率的95%置信区间
from sklearn.metrics import accuracy_score
ci = bootstrap_ci(y_test, y_pred, accuracy_score)
print(f"Accuracy置信区间：{ci}")

二、特征与分类结果的关联性分析

卡方检验（分类变量）
验证分类特征与目标变量的独立性：

from scipy.stats import chi2_contingency# 构建列联表
contingency_table = pd.crosstab(df['feature'], df['target'])
chi2, p, dof, expected = chi2_contingency(contingency_table)
print(f"卡方值={chi2:.3f}, p={p:.5f}")

t检验（连续变量）
比较正负样本在连续特征上的均值差异：

from scipy.stats import ttest_indpos_samples = df[df['target'] == 1]['feature']
neg_samples = df[df['target'] == 0]['feature']
t_stat, p_value = ttest_ind(pos_samples, neg_samples)
print(f"t统计量={t_stat:.3f}, p={p_value:.5f}")

三、分类器预测一致性检验（McNemar Test）
验证两个分类器的错误率是否显著不同：

from statsmodels.stats.contingency_tables import mcnemar# 构建混淆矩阵
b = ((model1_pred != y_test) & (model2_pred == y_test)).sum()
c = ((model1_pred == y_test) & (model2_pred != y_test)).sum()
table = [[b + c, b], [c, 0]]
result = mcnemar(table, exact=False)
print(f"McNemar统计量={result.statistic:.3f}, p={result.pvalue:.5f}")

四、参数显著性分析（Logistic回归）
评估特征在模型中的显著性：

import statsmodels.api as sm# 添加截距项并拟合模型
X = sm.add_constant(X_train)
model = sm.Logit(y_train, X).fit()
# 输出参数置信区间和p值
print(model.summary())
print(model.conf_int(alpha=0.05))  # 95%置信区间