【机器学习】算法原理详细推导与实现(二):逻辑回归
在上一篇算法中，线性回归实际上是 连续型 的结果，即 (yin R) ，而逻辑回归的 (y) 是离散型，只能取两个值 (yin {0,1})，这可以用来处理一些分类的问题。
logistic函数
我们可能会遇到一些分类问题，例如想要划分 鸢尾花 的种类，尝试基于一些特征来判断鸢尾花的品种，或者判断上一篇文章中的房子，在6个月之后能否被卖掉，答案是 是 或者 否，或者一封邮件是否是垃圾邮件。所以这里是 (x) ，这里是 (y) 在一个分类问题中，(y) 只能取两个值0和1，这就是一个二元分类的问题，如下所示：
可以使用线性回归对以上数值进行划分，可以拟合出如下那么一条线，用 (y=0.5) 作为临界点，如果 (x) 在这个临界点的右侧，那么 (y) 的值就是1，如果在临界点的左侧，那么 (y) 的值就是0，所以确实会有一些人会这么做，用线性回归解决分类问题：
线性回归解决分类问题，有时候它的效果很好，但是通常用线性回归解决像这样的分类问题会是一个很糟糕的主意，加入存在一个额外的训练样本 (x=12)，如果现在对这个训练集合做线性拟合，那么可能拟合出来那么一条直线：
这时候(y)的临界点估计已经不太合适了，可以知道线性回归对于分类问题来说，不是一个很好的方法。
假设 (h_theta(x) in [0,1])，当如果已知 (yin {0,1})，那么至少应该让假设 (h_theta(x)) 预测出来的值不会比1大太多，也不会比0小太多，所以一般不会选择线性函数作为假设，而是会选择一些稍微不同的函数图像：
[ g(z)=frac{1}{1 e^{-z}} ]
[ h_theta(x)=g(theta^Tx)=frac{1}{1 e^{-theta^Tx}} ]
(g(z)) 被称为 sigmoid函数 ，也通常被称为 logistic函数，它的函数图像是：
当 (z) 变得非常小的时候，(g(x)) 会趋向于0，当(z)变得非常大的时候，(g(x)) 会趋向于1，它和纵轴相较于0.5。
逻辑回归
那么我们的假设(h_theta(x)) 要尝试估计 (yin {0,1}) 的概率，即：
[ P(y=1|x;theta)=h_theta(x) ]
[ P(y=0|x;theta)=1-h_theta(x) ]
以上可以把两个公式合并简写为（如果(y=1)那么公式为(h_theta(x))；如果(y=0)那么公式为(1-h_theta(x))）：
[ P(y|x;theta)=(h_theta(x))^y(1-h_theta(x))^{1-y} ]
如果对《概率论和数理统计》学得好的人不难看出，以上函数其实就是 伯努利分布 的函数。
对于每一个假设值(h_theta(x))，为了使每一次假设值更准确，即当 (y=1) 时估计函数 (P(y=1|x;theta)=h_theta(x)) 趋向于1，当(y=0) 时估计函数 (P(y=0|x;theta)=1-h_theta(x)) 趋向于0。则对于每一个((x_i,y_i))，参数 (theta) 的似然估计 (L(theta))为：
[ begin{split} L(theta)&=P(vec{y}|X;theta) \ &=prod_{i=1}^mP(y^{(i)}|x^{(i)};theta) \ &=prod_{i=1}^m(h_theta(x^{(i)}))^{y^{(i)}}(1-h_theta(x^{(i)}))^{1-{y^{(i)}}} end{split} ]
如果每一个((x_i,y_i))都准确，即 (P(y|x;theta)) 趋向于1，则应该使似然估计 (L(theta)) 最大化，也就是转化成熟悉的问题：求解 (L(theta)) 的极大似然估计。
为了调整参数 (theta) 使似然估计 (L(theta)) 最大化，推导如下（取 (log) 是为了去掉叠乘方便计算）：
[ begin{split} l(theta)&=logL(theta) \ &=sum_{i=1}^m{y^{(i)}logh(x^{(i)}) (1-y^{(i)})log(1-h(x^{(i)}))} end{split} ]
为了使这个函数最大，同样可以使用前面学习过的梯度下降算法使对数似然估计最大化。之前学习的是要使误差和 最小化，所以梯度下降的公式为：
[ theta:=theta-alphafrac{partial J(theta)}{partialtheta}=>theta:=theta-alphanabla_theta J(theta) ]
而本次为了求解似然估计最大化，使用的是梯度上升：
[ theta:=theta alphanabla_theta l(theta)=>theta:=theta alphafrac{partial l(theta)}{partialtheta} ]
对数似然性是和 (theta) 有关，同样的为了计算 梯度上升 最快的方向，要对上述公式求偏导得到极值，即是上升最快的方向：
[ begin{split} frac{partial l(theta)}{partialtheta_j}&=(yfrac{1}{g(theta^Tx)}-(1-y)frac{1}{1-g(theta^Tx)})frac{partial}{partialtheta_j}g(theta^Tx) \ &=(yfrac{1}{g(theta^Tx)}-(1-y)frac{1}{1-g(theta^Tx)})g(theta^Tx)(1-g(theta^Tx))frac{partial}{partialtheta_j}theta^Tx \ &=(y(1-g(theta^Tx))-(1-y)g(theta^Tx))x_j \ &=(y-g(theta^Tx))x_j \ &=(y-h_{theta}(x))x_j end{split} ]
则对于 m 个样本，则有：
[ frac{partial l(theta)}{partialtheta_j}=sum_{i=1}^m{(y-h_{theta}(x))x_j} ]
[ theta_j:=theta_j sum_{i=1}^m{(y^{(i)}-h_{theta}(x^{(i)}))x^{(i)}_j} ]
所以总结来说：
逻辑回归假设数据服从伯努利分布，通过极大化似然函数的方法，运用梯度下降来求解参数，来达到将数据二分类的目的。
鸢尾花分类
为了划分 鸢尾花 的种类，尝试基于一些特征来判断鸢尾花的品种，选取100条鸢尾花数据集如下所示：
花萼长度（单位cm） | 花萼宽度（单位cm） | 种类 |
|---|---|---|
5.1 | 3.5 | 0 |
4.9 | 3.0 | 0 |
4.7 | 3.2 | 0 |
7.0 | 3.2 | 1 |
6.4 | 3.2 | 1 |
... | ... | ... |
其中：
种类 | 含义 |
|---|---|
0 | 山鸢尾（setosa） |
1 | 变色鸢尾（versicolor） |
2 | 维吉尼亚鸢尾（virginica） |
数据集的图像分布为：
计算损失函数：
代码语言：javascript复制# 损失函数
def computeCost(theta, X, y):
theta = np.matrix(theta)
X = np.matrix(X)
y = np.matrix(y)
first = np.multiply(-y, np.log(sigmoid(X * theta.T)))
second = np.multiply((1 - y), np.log(1 - sigmoid(X * theta.T)))
return np.sum(first - second) / (len(X))梯度下降函数为：
代码语言：javascript复制# 梯度下降
def gradient(theta, X, y):
theta = np.matrix(theta)
X = np.matrix(X)
y = np.matrix(y)
parameters = int(theta.ravel().shape[1])
grad = np.zeros(parameters)
error = sigmoid(X * theta.T) - y
for i in range(parameters):
term = np.multiply(error, X[:, i])
grad[i] = np.sum(term) / len(X)
return grad最终预测准确率为：
代码语言：javascript复制accuracy = 99%结果分类的图像为：
数据和代码下载请关注公众号【 TTyb 】，后台回复【 机器学习 】即可获取：
