最小二乘矩阵求解与正则化，最小二乘是最常用的线性参数估计方法，早在高斯的年代，就用开对平面上的点拟合线，对高维空间的点拟合超平面。
作为最小二乘代价函数的改进
j(x)=frac{1}{2}left(|A x-b|_{2}^{2} lambda|x|_{2}^{2}right)
式中lambda > 0则称为正则化参数 (regularization parameters)
代价函数关于变元 x 的共轭梯度
frac{partial j(x)}{partial x^{H}}=frac{partial}{partial x^{H}}left((A x-b)^{H}(A x-b) lambda x^{H} xright)=A^{H} A x-A^{H} b lambda x
令frac{partial J(x)}{partial x^{H}}=0 得到check{x}=left(A^{H} A lambda Iright)^{-1} A^{H} b 使得left(A^{H} A lambda Iright)^{-1} 替代协方差矩阵的直接求逆left(A^{H} Aright)^{-1} 的方法常称为Tikhonov 正则化
在信号处理和图像处理中有时也称为松弛法(relaxation method)
Tikhonov 正则化的本质是通过对非满秩的矩阵A的协方差矩阵(A^{H} A) 的每一个对角元素加入一个很小的扰动lambda
使得奇异的协方差矩阵(A^{H} A) 求逆变为非奇异矩阵A^{H} A lambda I 的求逆，从而大大改善求解非满秩矩阵Ax=b 的数值稳定性 也就是降低cond条件数的大小。
增加的项对其施加一个惩罚，其得到的解比仅优化sum A A^{H} 更切合实际
如果矩阵A是满秩矩阵，但存在误差或者噪声是，需要采用与上面相反的做法，就是对上面的协方差矩阵(A^{H} A) 加上以恶搞很小的扰动矩阵-lambda H 去干扰，类似于上面的公式hat{x}=left(A^{H} A-lambda Iright)^{-1} A^{H} b 使分离噪声。
其实这两个公式可以合并，lambda 本身就带有符号属性，当取得正值的时候是对矩阵的约束，迫使原来的对角协方差元素减少，
取得负值的时候就是分离残差.取0的时候就是普通最小二乘。
参数lambda 是使得原始目标函数值尽可能小的同时保证sum A A^{H} 不能太大，在二者取得一个很好的平衡。
