本文记录极大似然估计角度进行线性回归，得到最小二乘法结果的方法。
问题描述
考虑一个线性模型 {y}=f({bf{x}}) 其中y是模型的输出值，是标量，bf{x}为d维实数空间的向量
- 线性模型可以表示为:
- 线性回归的任务是利用n个训练样本：
- 和样本对应的标签：
- 来预测线性模型中的参数 bf{omega}，使得模型尽可能准确输出预测值
线性回归 / MLE
最小二乘法的损失函数是启发式定义来的，我们从另一个角度进行线性回归
- 我们可以认为真实模型是带有噪声的，即：
- 其中噪声分布为：
- x 是给定的, w 虽然是未知的，但是也是固定的, 所以 w^{T} x 是一个常量, 因此 y 也可以看作是一个关于随机变量 epsilon 的函数,
- 估计y的均值:
- 方差:
- 因此y的分布可以确定:
- 接着就可以通过最大似然估计来求解bf{w}，首先定义对数似然函数:
- 求解最优值：
- 此时得到的优化方程和最小二乘法得到的已经一样了，之后的求解过程也相同，
- 求解优化方程：
- 求导并令倒数为0：
- 得到:
参考资料
- https://zhuanlan.zhihu.com/p/86009986
