本文记录岭回归角度进行线性回归的方法。
问题描述
考虑一个线性模型 {y}=f({bf{x}}) 其中y是模型的输出值，是标量，bf{x}为d维实数空间的向量
- 线性模型可以表示为:
- 线性回归的任务是利用n个训练样本：
- 和样本对应的标签：
- 来预测线性模型中的参数 bf{omega}，使得模型尽可能准确输出预测值
线性回归 / 岭回归
岭回归就是带有L_2正则的线性回归>
- 之前最小二乘法的损失函数：
- 岭回归的代价函数：
- 上式中 lambda 是正则化系数，现在优化的目标就转为 J(w) 函数了
- 对上面的函数求导并令导数为0, 得到
- 从上式不难得到：
- 要更直观的理解 lambda 的作用, 可以假设每个样本只有一个属性, quad X^{T} X 就是一个实数, 所以:
可以看到，随着 lambda 的增大, quad hat{w} 的值会渐渐减小, 对 hat{w} 起到了抑制作用
参考资料
- https://zhuanlan.zhihu.com/p/86009986
