线性回归的正则化
还记得在线性回归中我们有哪两种方法去求代价函数的最小值吗？当然是梯度下降和正规方程了。让我们来复习一下线性回归中梯度下降算法，如下：
其中黄色部分就是代价函数对参数 θ 的偏导数。当我们正则化代价函数后，代价函数发生了改变：
相应地，偏导数也会改变，得到正则化后的梯度下降算法：
把其中的 θ_j 提出来，简化后：
那正规方程正则化后呢？就成了下面这样：
逻辑回归的正则化
逻辑回归的代价函数为：
与线性回归的正则化类似，逻辑回归的正则化就是在逻辑回归的代价函数中加入对参数的惩罚：
正则化后得到的梯度下降算法与线性回归中非常像，只是假设函数不同而已。
