线性回归 - MAP

2022-08-05 15:04:11 浏览数 (1)

本文记录岭回归角度进行线性回归的方法。

问题描述

考虑一个线性模型 {y}=f({bf{x}}) 其中y是模型的输出值，是标量，bf{x}为d维实数空间的向量

线性模型可以表示为:

f(bf{x})=bf{w} ^Tx,win mathbb{R}

线性回归的任务是利用n个训练样本：

和样本对应的标签：

Y = [ y _ { 1 } cdots quad y _ { n } ] ^ { T } quad y in mathbb{R}

来预测线性模型中的参数 bf{omega}，使得模型尽可能准确输出预测值

线性回归 / MAP

岭回归就是带有L_2正则的线性回归，也可以从最大后验概率的角度推出

根据贝叶斯公式

其中 P(Y mid X, w) 和 P(w) 分别是似然和先验, 并且 y mid x, w sim mathcal{N}left(w^{T} x, sigma^{2}right) ， w sim mathcal{N}(0, Sigma)
接着，其中第一项：

第二项：

P(w)=frac{1}{sqrt{2 pi}|Sigma|^{frac{1}{2}}} exp left(-frac{w^{T} Sigma^{-1} w}{2}right)

然后对 P(Y mid X, w) P(w) 取对数, 得到：

同样的套路, 针对对数函数求解最优参数

将上式看作损失函数

然后对其求导

frac{partial L(w)}{partial w}=2left(X^{T} X sigma^{2} Sigma^{-1}right) w-2 X^{T} Y=0

得到:

hat{w}=left(X^{T} X sigma^{2} Sigma{-1}right){-1} X^{T} Y

令 sigma^{2} Sigma^{-1}=lambda 就得到了岭回归的结果

参考资料

https://zhuanlan.zhihu.com/p/86009986

0 人点赞