想问一下 逻辑回归 和 SVM 的区别是什么?

已邀请:

对于沙发中的“Hinge Loss”不可导说法存疑,应该说是在超平面上不可导。二分类的最本质损失是0-1损失,其不是连续可导。而hinge loss可以认为是其上界,而SVM就是优化该上界的一种模型。
另外,补充一下个人对LR,感知机,SVM的一些思考。
LR预测数据的时候,给出的是一个预测结果为正类的概率,这个概率是通过sigmoid函数将wTx映射到[0,1]得到的,对于wTx正的很大时(可以认为离决策边界很远),得到为正类的概率趋近于1;对于wTx负的很大时(可以认为离决策边界很远),得到为正类的概率趋近于0。在LR中,跟“与决策边界距离”扯得上关系的仅此而已。在参数w求解过程中完全没有与决策边界距离的影子,所有样本都一视同仁。和感知机的不同之处在于,LR用到与决策边界的距离,是用来给预测结果一个可以看得到的置信区间。感知机里面没有这一考虑,只根据符号来判断。
而SVM更进一步,在参数的求解过程中,便舍弃了距离决策边界过远的点。
LR和感知机都很容易过拟合,只有SVM加入了L2范数之后的结构化风险最小化策略才解决了过拟合的问题。
总结之:感知机前后都没有引入与超平面“距离”的概念,它只关心是否在超平面的一侧;
LR引入了距离,但是在训练模型求其参数的时候没有距离的概念,只是在最后预测阶段引入距离以表征分类的置信度;
SVM两个地方有距离的概念:其一,在求超平面参数的时候有距离的概念,其表现为在与超平面一定距离内的点着重关注,而其他的一切点都不再关注。被关注的点称之为“支撑向量”。其二,预测新样本的时候,和LR一样,距离代表置信度。

以上个人之见,欢迎大家讨论。

要回复问题请先登录注册