当前位置：首页 > news >正文

逻辑回归（二分类）

news 2025/5/17 6:17:00

一.逻辑回归的由来

逻辑回归不是一个回归的算法，不是用来做预测的，逻辑回归是一个分类的算法，那为什么不叫逻辑分类？因为逻辑回归算法是基于多元线性回归的算法（多元线性回归：y=w0x0+w1x1+.....+wnxn)。正因为此，逻辑回归这个分类算法是线性的分类器。

二.Sigmoid函数

1.图像

可以注意到，当自变量等于0的时候，因变量为0.5，且值域为[0,1]，这个特性可以满足概率的取值。

2.作用

简单来说，就是在多元线性回归的基础上，将得到的y_hat作为Sigmoid函数的输入得到最终的概率值。

我们知道，作为一个二分类分类器，就是要找到分界，也就是输出等于0.5为分界，我们要找到的就是y_hat = 0.5，根据表达式我们可以知道，也就是找到输入等于0时，θ的值，注意这个θ是由多个w的矩阵。

3.推导

广义线性回归：

考虑一个分类或回归问题，我们就是想预测某个随机变量y，y是x的函数。为了推导广义线性模式，我们必须做出如下三个假设

指数族分布：

有高斯分布、二项分布、伯努利分布、泊松分布、指数分布等。对于回归来说，如果y是服从某个指数族分布，那么我们就可以广义线性回归来建模。我们在简单的线性回归中，y就是满足了高斯分布/正态分布。

推导：

$\begin{aligned}P(y;\phi)&=\phi^{y}(1-\phi)^{1-y}\\&=e^[\ln^{\phi^y}+\ln^{(1-\phi)^{1-y}]}\\&=e^{[y\ln^{\phi}+(1-y)\ln^{1-\phi}]}\\&=e^{[y\ln^{\phi}+\ln^{1-\phi}-y\ln^{1-\phi}]}\\&=e^{[y\ln^{\frac{\phi}{1-\phi}}+\ln^{1-\phi}]}\end{aligned}$

这样我们就得到了Sigmod函数。

补充：我们可以由此推导线性回归

三.损失函数交叉熵

或

得到损失函数

损失函数求导

首先对sigmod函数求导

$\begin{aligned}g^{\prime}(z)&=\frac{d}{dz}\frac{1}{1+e^{-z}}\\&=\quad\frac{1}{(1+e^{-z})^2}\left(e^{-z}\right)\\&=\frac{1}{(1+e^{-z})}\cdot\left(1-\frac{1}{(1+e^{-z})}\right)\\&=\quad g(z)(1-g(z)).\end{aligned}$