当前位置：首页 > web >正文

机器学习回顾——逻辑回归

web 2025/8/30 6:39:54

逻辑回归（Logistic Regression）详解

概述与基本概念

逻辑回归是一种用于分类问题的统计学习方法，属于广义线性模型（GLM）家族。虽然名称中包含"回归"，但它主要用于解决二分类问题（Binary Classification）。通过扩展，它也可以处理多分类问题（Multinomial Logistic Regression），此时通常称为Softmax回归。

核心思想与工作机制

逻辑回归的工作机制可以分解为三个关键步骤：

线性组合：首先计算输入特征的加权和
非线性转换：通过Sigmoid函数将线性输出映射到[0,1]区间
概率解释：将输出解释为属于正类的概率

这种转换过程使逻辑回归能够输出具有概率意义的预测值，而不仅仅是类别标签。

典型应用场景与实例分析

逻辑回归在工业界和学术界都有广泛应用：

垃圾邮件识别：
- 输入特征：邮件关键词频率、发送者信誉等
- 输出：垃圾邮件(1)或正常邮件(0)的概率
医疗诊断：
- 输入特征：患者各项检测指标
- 输出：患病(1)或健康(0)的概率估计
金融风控：
- 输入特征：用户信用历史、交易行为等
- 输出：违约(1)或守约(0)的可能性
推荐系统：
- 输入特征：用户历史行为、项目特征
- 输出：用户点击/购买(1)的概率

数学原理深度解析

1. 线性部分详细推导

给定n维特征向量x = [x₁, x₂, ..., xₙ]和模型参数θ = [θ₀, θ₁, ..., θₙ]，其中θ₀为截距项（bias）。线性部分计算如下：

z = θ₀ + θ₁x₁ + θ₂x₂ + ... + θₙxₙ = θᵀx

在实际实现中，通常会在特征向量中添加一个常数项1（x₀=1），这样可以将截距项θ₀统一表示为θ₀x₀。

2. Sigmoid函数特性分析

Sigmoid函数（又称Logistic函数）定义为：

σ(z) = 1 / (1 + e⁻ᶻ)

具有以下重要数学特性：

函数值域严格在(0,1)区间内
函数在z=0处取得值0.5
函数关于点(0,0.5)中心对称
导数易于计算：σ'(z) = σ(z)(1-σ(z))

这些特性使其非常适合将任意实数转换为概率值。

3. 决策边界与分类规则

逻辑回归的决策边界由线性部分θᵀx=0决定。当θᵀx>0时，预测为正类；当θᵀx<0时，预测为负类。默认阈值0.5对应的就是θᵀx=0这个决策边界。

实际应用中，可以根据业务需求调整阈值：

医疗诊断可能采用更高阈值（如0.7）以减少误诊
垃圾邮件过滤可能采用稍低阈值（如0.3）以确保捕捉更多垃圾邮件

模型训练与优化

损失函数深入理解

逻辑回归使用交叉熵损失函数（也称为对数损失），其数学表达式为：

对于单个样本： L(θ) = -[y log(ŷ) + (1-y)log(1-ŷ)]

对于整个训练集（m个样本）： J(θ) = -(1/m) Σ [yⁱ log(ŷⁱ) + (1-yⁱ)log(1-ŷⁱ)]

其中：

yⁱ是第i个样本的真实标签（0或1）
ŷⁱ是模型预测的概率P(y=1|xⁱ)

交叉熵损失的优势包括：

对预测错误施加更大的惩罚（当预测概率与真实标签相差很大时）
保证优化问题的凸性，避免陷入局部最优
从信息论角度，衡量了预测分布与真实分布之间的差异

优化算法详解

梯度下降基本形式：
- 计算梯度：∇J(θ) = (1/m) Xᵀ(Ŷ-Y)
- 参数更新：θ := θ - α∇J(θ)
其中α是学习率，控制每次更新的步长。
高级优化变种：
- 随机梯度下降(SGD)：每次使用单个样本计算梯度
- 小批量梯度下降：折中方案，使用小批量样本
- 动量法：加入动量项加速收敛
- 自适应方法：如Adam、Adagrad等
收敛性分析：
- 由于损失函数是凸的，保证收敛到全局最优
- 实际中设置最大迭代次数或收敛阈值

模型评估与选择

常用评估指标

准确率(Accuracy)：
- (TP+TN)/(TP+TN+FP+FN)
- 适用于类别平衡的情况
精确率(Precision)：
- TP/(TP+FP)
- 关注预测为正类中的真实正类比例
召回率(Recall)：
- TP/(TP+FN)
- 关注所有真实正类中被正确预测的比例
F1分数：
- 2*(Precision*Recall)/(Precision+Recall)
- 精确率和召回率的调和平均
AUC-ROC：
- 通过绘制不同阈值下的TPR和FPR曲线
- 曲线下面积衡量模型整体性能

正则化技术

为防止过拟合，常引入正则化项：

L2正则化（Ridge）：
- 损失函数：J(θ) + (λ/2m)||θ||²
- 倾向于使所有参数较小但不为零
L1正则化（Lasso）：
- 损失函数：J(θ) + (λ/m)|θ|
- 可以产生稀疏解，实现特征选择
弹性网络(Elastic Net)：
- 结合L1和L2正则化
- 平衡特征选择和参数收缩

λ是正则化系数，控制正则化强度，通常通过交叉验证选择。

扩展与变体

多分类逻辑回归

当类别数K>2时，可以采用以下方法：

One-vs-Rest (OvR)：
- 训练K个二分类器
- 每个分类器区分一个类别与其他所有类别
Softmax回归（Multinomial Logistic Regression）：
- 直接扩展为多类别
- 使用Softmax函数代替Sigmoid： P(y=k|x) = e^(θₖᵀx)/Σe^(θⱼᵀx)
- 损失函数变为分类交叉熵