概述
- 优点：容易计算，易于理解和实现
- 缺点：容易欠拟合
- 适用数据类型：数值型和标称型
口头描述
线性回归试图构造一个线性函数，去拟合尽可能多的样本点。重点是如何确定线性函数的参数，使得该函数尽量穿过样本点，一般使用均方误差最小化来作为参数拟合效果的标准。
算法推导（解方程的方法）
算法推导（梯度下降）
X^TX的要求
当矩阵 X^TX是满秩矩阵的时候，上述最优解成立，但是很多情况下X^TX往往不是满秩矩阵，此时可以解出ω^ ,他们都能使均方误差最小化，选择哪一个作为输出，将由学习算法的归纳偏好决定，常见的做法是引入正则化项。
对数线性回归
