人工智能学习：LR和SVM的联系与区别？

LR和SVM的联系与区别？

相同点：

（1） LR和SVM都可以处理分类问题 ，且— 般都用于处理线性二 分类问题（在改进的情况下可以处理多分类问题）

（2）两个方 法都可以增加不同的正则化项 ，如L1、 L2等等。所以在很多实验中 ，两种算法的结果是很接近的。

区别：

（1） LR是参数模型， SVM是非参数模型。

（2）从目 标函数来看 ，区别在于逻辑回归采用 的是Logistical Loss ，SVM采用 的是hinge loss.这两个损失函数的目 的都是增加对分类影响较大 的数据点的权重 ，减少与分类关系较小 的数据点的权重。

（3） SVM的处理方 法是只考虑Support Vectors ，也就是和分类最相关的少数点 ，去学习分类器。 而逻辑回归通过  非 线性映射 ，大大 减小 了离分类平面 较远的点的权重 ，相对提升了与分类最相关的数据点的权重。

（4）逻辑回归相对来说模型更简单，好理解 ，特别是大 规模线性分类时比 较方 便。而SVM的理解和优化相对来说 复杂— 些， SVM转化为对偶问题后,分类只需要计算与少数几 个支 持向量的距离,这个在进行 复杂核函数计算时优势 很明显,能够大大 简化模型和计算。

（5） Logic能做的SVM能做 ，但可能在准确率上有问题， SVM能做的Logic有的做不了。