机器学习基础 - 分类模型之逻辑回归

机器学习： 逻辑回归

logistic回归简介

logistic回归用于解决的是分类问题，其基本思想是：根据现有数据对分类边界线建立回归公式,以此进行分类。也就是说，logistic 回归不是对所有数据点进行拟合，而是要对数据之间的分界线进行拟合。

• 逻辑回归的本质： 极大似然估计
• 逻辑回归的激活函数：Sigmoid
• 逻辑回归的代价函数：交叉熵

Logistic 回归的数学表达

$$h_{\theta }(x)=sigmoid({\theta }^{T}X)=\frac{1}{1+e^{-{\theta }^{T}X}}$$

如何求解最优的 $\theta$

首先，我们依旧是要找到一个合适的损失函数，在Logistic回归中的损失函数为：
$$Cost(h_{\theta }(x),y)=\{\begin{array}{ll}-log(h_{\theta (x)})& ify=1\\ -log(1-h_{\theta (x)})& ify=0\end{array}$$

$$J(\theta )=-\frac{1}{m}\left[\sum _{i=1}^m{y}^{(i)}log(h_{\theta }(x^{(i)}))+(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))\right]$$
我们最终给它加一个正则化项：
$$J(\theta )=-\frac{1}{m}[\sum _{i=1}$$