概述
逻辑回归也叫对数几率回归 “逻辑回归”虽然叫回归,但是却是一种分类方法,跟线性回归(linear regression)有着显著的不同。
- 优点:无需事先假设数据分布,可以避免假设分布不准确带来的问题;不是预测出类别,而是给出近似概率;对率函数是任意阶可导的凸函数,有很好的数学性质。
- 缺点:
算法推导
关于代价函数采用-log()的解释
出发点:假设样本的分类为1(y=1),我们希望当预测的结果越接近1,损失越小,预测结果越接近0,损失越大。考虑到函数 y=log(x)当log的底数大于1的函数图像:
将其倒转并取x值为(0,1]可得:
这样的函数就很好的契合了我们的目标,即越接近0值越大,越接近1值越小。 当样本分类为0(y=0)时也是一样的道理将x换成1-x即可。