当前位置：首页 > backend >正文

机器学习实战：逻辑回归算法深度解析与案例应用

backend 2025/9/4 12:12:47

机器学习实战：逻辑回归算法深度解析与案例应用

作者：lyx331366759 | 发布时间：2025年9月3日

前言

逻辑回归（Logistic Regression）是机器学习中最经典的分类算法之一，广泛应用于医疗诊断、客户流失预测、金融风控等领域。本文将通过多个实战案例，带你深入理解逻辑回归的核心原理、评估方法以及高级应用技巧。

一、逻辑回归算法原理

1.1 什么是逻辑回归？

逻辑回归是一种用于解决二分类问题的统计学习方法。尽管名字中带有"回归"，但它实际上是一种分类算法。其核心思想是：通过sigmoid函数将线性回归的结果映射到(0,1)区间，表示样本属于正类的概率。

1.2 数学原理

Sigmoid函数：

σ(z) = 1 / (1 + e^(-z))

预测函数：

P(y=1|x) = σ(w·x + b)

其中w是权重向量，b是偏置项。

1.3 损失函数

逻辑回归使用对数损失函数（Log Loss）：

L = -[y·log(p) + (1-y)·log(1-p)]

二、案例1：癌症概率预测

2.1 数据准备

import pandas as pd
import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler# 1.读取数据
data = pd.read_csv("../data/breast-cancer-wisconsin.csv")# 2.数据预处理
data = data.replace('?', np.nan)  # 处理缺失值
data.dropna(axis=0, inplace=True)  # 删除缺失行# 3.特征工程
X = data.iloc[:, 1:-1]  # 特征
y = data['Class']       # 标签# 4.数据分割
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=22
)# 5.特征标准化
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

2.2 模型训练与预测

# 创建逻辑回归模型
model = LogisticRegression()
model.fit(X_train_scaled, y_train)# 模型预测
y_pred = model.predict(X_test_scaled)# 模型评估
accuracy = model.score(X_test_scaled, y_test)
print(f"模型准确率: {accuracy:.4f}")

三、案例2：混淆矩阵与评估指标详解

3.1 混淆矩阵基础

混淆矩阵是评估分类模型性能的核心工具：

from sklearn.metrics import confusion_matrix, precision_score, recall_score, f1_score# 定义真实标签和预测标签
y_true = ['恶性', '恶性', '恶性', '恶性', '恶性', '恶性', '良性', '良性', '良性', '良性']
y_pred_A = ['恶性', '恶性', '恶性', '良性', '良性', '良性', '良性', '良性', '良性', '良性']# 生成混淆矩阵
cm = confusion_matrix(y_true, y_pred_A, labels=['恶性', '良性'])
print("混淆矩阵:")
print(cm)# 使用DataFrame美化输出
import pandas as pd
df_cm = pd.DataFrame(cm, index=['恶性(正例)', '良性(反例)'], columns=['恶性(正例)', '良性(反例)'])
print(df_cm)

3.2 核心评估指标

精确率（Precision）

precision = precision_score(y_true, y_pred_A, pos_label='恶性')
print(f"精确率: {precision:.4f}")

召回率（Recall）

recall = recall_score(y_true, y_pred_A, pos_label='恶性')
print(f"召回率: {recall:.4f}")

F1值

f1 = f1_score(y_true, y_pred_A, pos_label='恶性')
print(f"F1值: {f1:.4f}")

3.3 精确率 vs 召回率的权衡

精确率：在预测为正类的样本中，真正为正类的比例
召回率：在真实为正类的样本中，被正确预测的比例
F1值：精确率和召回率的调和平均值

四、案例3：电信客户流失预测

4.1 数据探索

# 读取数据
data = pd.read_csv('../data/churn.csv')# 数据基本信息
print(f"数据集形状: {data.shape}")
print(f"数据类型:\n{data.dtypes}")# 标签分布
print("客户流失分布:")
print(data['Churn'].value_counts(normalize=True))

4.2 完整建模流程

from sklearn.metrics import classification_report, roc_auc_score# 1. 数据预处理
data.dropna(axis=0, inplace=True)  # 处理缺失值# 2. 特征和标签分离
X = data.iloc[:, 1:-1]  # 特征（去除ID列）
y = data['Churn']       # 标签# 3. 数据分割
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=18
)# 4. 特征编码（独热编码）
X_train_encoded = pd.get_dummies(X_train)
X_test_encoded = pd.get_dummies(X_test)# 5. 特征标准化
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train_encoded)
X_test_scaled = scaler.transform(X_test_encoded)# 6. 模型训练
model = LogisticRegression()
model.fit(X_train_scaled, y_train)# 7. 模型预测
y_pred = model.predict(X_test_scaled)
y_proba = model.predict_proba(X_test_scaled)[:, 1]# 8. 模型评估
print("=== 模型评估结果 ===")
print(f"准确率: {model.score(X_test_scaled, y_test):.4f}")
print(f"AUC值: {roc_auc_score(y_test, y_proba):.4f}")# 详细分类报告
print("\n分类报告:")
print(classification_report(y_test, y_pred))

4.3 混淆矩阵可视化

from sklearn.metrics import confusion_matrix
import seaborn as sns
import matplotlib.pyplot as plt# 生成混淆矩阵
cm = confusion_matrix(y_test, y_pred, labels=['Yes', 'No'])# 可视化
plt.figure(figsize=(8, 6))
sns.heatmap(cm, annot=True, fmt='d', cmap='Blues', xticklabels=['流失(Yes)', '未流失(No)'],yticklabels=['流失(Yes)', '未流失(No)'])
plt.title('电信客户流失预测 - 混淆矩阵')
plt.ylabel('真实标签')
plt.xlabel('预测标签')
plt.show()

五、高级特征工程实战

5.1 特征工程策略

def advanced_feature_engineering(data):"""高级特征工程"""df = data.copy()# 1. 处理数值型特征df['TotalCharges'] = pd.to_numeric(df['TotalCharges'], errors='coerce')df['TotalCharges'].fillna(df['TotalCharges'].median(), inplace=True)# 2. 创建费用相关特征df['Charges_Ratio'] = df['MonthlyCharges'] / (df['TotalCharges'] + 1)df['High_Monthly_Charges'] = (df['MonthlyCharges'] > df['MonthlyCharges'].quantile(0.75)).astype(int)# 3. 创建服务聚合特征service_cols = ['landline', 'internet_att', 'internet_other', 'StreamingTV', 'StreamingMovies']df['Total_Services'] = df[service_cols].sum(axis=1)df['Has_Internet'] = (df['internet_att'] + df['internet_other'] > 0).astype(int)df['Has_Streaming'] = (df['StreamingTV'] + df['StreamingMovies'] > 0).astype(int)# 4. 创建人口统计特征df['Family_Size'] = df['Partner_att'] + df['Dependents_att']df['Senior_Family'] = ((df['Dependents_att'] == 1) & (df['Partner_att'] == 1)).astype(int)# 5. 创建交互特征df['Internet_Streaming'] = df['Has_Internet'] * df['Has_Streaming']df['Monthly_Services_Interaction'] = df['MonthlyCharges'] * df['Total_Services']return df

5.2 集成学习方法

from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier
from sklearn.model_selection import GridSearchCV# 随机森林模型
rf_model = RandomForestClassifier(n_estimators=200,max_depth=10,random_state=42
)# 梯度提升模型
gb_model = GradientBoostingClassifier(n_estimators=200,learning_rate=0.1,max_depth=6,random_state=42
)# 超参数调优
param_grid = {'n_estimators': [100, 200, 300],'max_depth': [10, 15, 20],'min_samples_split': [2, 5, 10]
}grid_search = GridSearchCV(rf_model, param_grid, cv=5, scoring='accuracy')
grid_search.fit(X_train, y_train)print(f"最佳参数: {grid_search.best_params_}")
print(f"最佳分数: {grid_search.best_score_:.4f}")

5.3 模型融合

from sklearn.ensemble import VotingClassifier# 创建模型集合
ensemble_model = VotingClassifier(estimators=[('rf', RandomForestClassifier(n_estimators=200, random_state=42)),('gb', GradientBoostingClassifier(n_estimators=200, random_state=42)),('lr', LogisticRegression(random_state=42))],voting='soft'  # 使用概率投票
)# 训练融合模型
ensemble_model.fit(X_train, y_train)
ensemble_pred = ensemble_model.predict(X_test)print(f"模型融合准确率: {ensemble_model.score(X_test, y_test):.4f}")