机器学习之——逻辑回归

2022-03-31 15:42:02 浏览数 (1)

在讨论逻辑**回归问题 (Logistic Regression) 之前,我们先讨论一些实际生活中的情况:判断一封电子邮件是否是垃圾邮件?判断一次交易是否是欺诈交易?判断一份文件是否是有效文件?这类问题,我们称之为分类问题 (Classication Problem) **。在分类问题中,我们往往尝试去预测的结果是否属于某一个类(正确活错误)。

我们从二元的分类问题开始讨论,即问题是正确或错误的。

我们将**因变量 (Dependent Variable) 可能属于的两个类分别称为负向类 (Negative Class) 正向类 (Positive Class) **,则因变量:

其中,0表示负向类,1表示正向类

我们假设预测一个肿瘤是否为恶性肿瘤的**分类问题 (Malignant or Benign) **,我们假设肿瘤的恶性或良性与肿瘤大小的关系,可以用线性回归的方法求出适合数据的一条直线:

根据线性回归模型,我们只能预测到连续的值,然后对于分类问题,我们只需要输出0或1即可,我们可以预测:

对于上图所示的数据,这样的一个线性模型似乎能很好地完成分类任务。假设我们又观察到一个尺寸非常大的恶性肿瘤,将其加入到我们的训练集中作为一个新的实例,那么将对我们的线性模型有一定影响,获得一条新的直线。

这时候,再使用0.5作为阈值来预测肿瘤是良性还是恶性,就显得不那么合适了。可以看出来,线性回归模型,因为其预测的值可以超越[0,1]的范围,所以并不适合解决这样的问题。

我们引入一个新的模型,逻辑回归,该模型的输出变量范围适中在0和1之间。

逻辑回归模型的假设是:

其中,解释一些标识:

该函数的图像为:

将逻辑函数和假设函数合起来,便得到了逻辑回归模型的假设:

对于模型,可以有以下的理解:

hø(x)的作用是,对于给定的输入变量,根据选择的参数计算输出变量=1的**可能性 (Estimated Probablity) **,即:

举个例子,如果对于给定的x,通过已经确定的参数计算得出hø(x)=0.7,则表示有百分之七十的概率y为正向类,相应的,y为负向类的概率为百分之三十(1-0.7=0.3)。

0 人点赞