最小二乘法除用于线性回归外，还有很多应用场景。
如图所示，现在有一系列点
假设两个标量
和
存在线性关系。即
。使得尽量多的点，靠近该直线。
令
表示点
到直线的垂直偏差。注意到 点
可能在直线下方，也可能在直线上方，因此
可能为负，也可能为正。最小二乘法通过求
来求
和
，也就是所有的点的垂直偏差尽可能的小。
最小二乘法在一些迭代算法中用来判断收敛.
- 矩阵对角化
若
为矩阵非主对角元素的平方和。若
小于某一容许误差，则可以认为矩阵非主对角元素全为0了，即矩阵已经对角化。
- 牛顿-拉夫逊迭代
若是基于位移来判断收敛，
为所有自由度的位移差值的平方和。这里的位移差值是前后两次迭代的位移差值。若
小于某一容许误差，则可以认为已经收敛。
