逻辑回归 logistic regression 算法原理及优化

2021-08-18 14:52:13 浏览数 (2)

概述

逻辑回归也叫对数几率回归 “逻辑回归”虽然叫回归,但是却是一种分类方法,跟线性回归(linear regression)有着显著的不同。

  • 优点:无需事先假设数据分布,可以避免假设分布不准确带来的问题;不是预测出类别,而是给出近似概率;对率函数是任意阶可导的凸函数,有很好的数学性质。
  • 缺点:

算法推导

关于代价函数采用-log()的解释

出发点:假设样本的分类为1(y=1),我们希望当预测的结果越接近1,损失越小,预测结果越接近0,损失越大。考虑到函数 y=log(x)当log的底数大于1的函数图像:

将其倒转并取x值为(0,1]可得:

这样的函数就很好的契合了我们的目标,即越接近0值越大,越接近1值越小。 当样本分类为0(y=0)时也是一样的道理将x换成1-x即可。

0 人点赞