深度学习-逻辑回归

逻辑回归的目的

逻辑回归是解决二分问题，判断样本属于正类的概率是多大，0-1之间

找到一组最佳的权重（w1,w2,w3,…） ，b，使得模型预测的概率 P(Y=1) 尽可能接近样本的真实标签（1 或 0）。

计算过程

前向传播过程如下：

假设有一个简单的神经网络层，包括输入 ( x )、权重 ( w )、偏置 ( b ) 和激活函数( σ)，输出为 ( a )。损失函数为 ( L )，我们希望计算损失函数对权重 ( w ) 的梯度。

$$\sigma (z)=\frac{1}{1+e^{-z}}$$

损失函数，也就是误差

损失计算：L=Loss(a,y)，其中 y 是真实标签，a是预测值

$$L(\hat{y},y)=-y\log (\hat{y})-(1-y)\log (1-\hat{y})$$
训练的目的是把L(y^,y)趋近0,让损失最小，就是趋向于最低点
其有w与b两个变量

减小损失，进行优化

这里的 α是△w的意思，w的优化就是通过减去w的偏导数来达成的

J和L是一样的含义，都是损失函数

偏导数如何求（计算梯度）

反向传播中的梯度计算

1. 计算损失函数 $L$ 对激活值 $a$ 的梯度：
   $$\frac{\partial L}{\partial a}$$
   

2. 计算激活函数 $\sigma$ 对 $z$ 的梯度：
   $$\frac{\partial a}{\partial z}={\sigma }^{\prime }(z)$$
   

3. 计算 $z$ 对权重 $w$ 的梯度：
   $$\frac{\partial z}{\partial w}=x$$
   就是w

4. 使用链式法则计算损失函数 $L$ 对权重 $w$ 的梯度：
   $$\frac{\partial L}{\partial w}=\frac{\partial L}{\partial a}\cdot \frac{\partial a}{\partial z}\cdot \frac{\partial z}{\partial w}$$
   4中就是w关于L的偏导数

这是L
$$L(\hat{y},y)=-y\log (\hat{y})-(1-y)\log (1-\hat{y})$$
这是a
$$\sigma (z)=\frac{1}{1+e^{-z}}$$
这是z
$$z=w\ast x+b$$

计算梯度代码现

import numpy as np# 激活函数及其导数
def sigmoid(x):return 1 / (1 + np.exp(-x))
#倒数
def sigmoid_derivative(x):return sigmoid(x) * (1 - sigmoid(x))# 假设数据
x = np.array([0.5])  # 输入
w = np.array([0.2])  # 权重
b = 0.1  # 偏置
y = np.array([0.7])  # 实际目标# 前向传播
z = w * x + b
a = sigmoid(z)# 计算损失（均方误差）
loss = 0.5 * (a - y) ** 2
print(f'损失对权重的梯度: {loss}')# 反向传播（链式法则）
dL_da = a - y  # 损失函数对激活值的梯度
da_dz = sigmoid_derivative(z)  # 激活函数对 z 的梯度
dz_dw = x  # z 对权重 w 的梯度# 使用链式法则计算损失函数对权重的梯度
dL_dw = dL_da * da_dz * dz_dwprint(f'损失对权重的梯度: {dL_dw}')
#这个就是J对w的梯度，就是那个偏导数

总的来说

逻辑回归只会给出 0 1的判断，而我们优化的就是减小这个0 1判断的误差