本文介绍正定矩阵和半正定矩阵。
定义
正定和半正定这两个词的英文分别是positive definite和positive semi-definite，其中，definite是一个形容词，表示“明确的、确定的”等意思。
正定
- 给定一个大小为n times n 的实方阵A ，若对于任意长度为n的非零向量x ，有x^TAx>0A是一个正定矩阵。
- 此时，若A为对称方阵，则称A为对称正定矩阵。
半正定
- 给定一个大小为n times n 的实方阵A ，若对于任意长度为n的非零向量x ，有x^TAx ge 0 恒成立，则矩阵A是一个半正定矩阵。
- 此时，若A为对称方阵，则称A为对称半正定矩阵。
可以看到半正定矩阵包含了正定矩阵，仅多出了等于零的一种情况，类似于正数和非负数的关系。
性质
以正定矩阵为例，半正定矩阵仅多了等于零的情况。
- 正定矩阵的行列式恒为正；
- 实对称矩阵A正定当且仅当A与单位矩阵合同；
- 若A是正定矩阵，则A的逆矩阵也是正定矩阵；
- 两个正定矩阵的和是正定矩阵；
- 正实数与正定矩阵的乘积是正定矩阵。
等价命题
对于n阶实对称矩阵A，下列条件是等价的（以正定矩阵为例）：
- A是正定矩阵；
- A的一切顺序主子式均为正；
- A的一切主子式均为正；
- A的特征值均为正；
- 存在实可逆矩阵C，使A=C′C；
- 存在秩为n的m×n实矩阵B，使A=B′B；
- 存在主对角线元素全为正的实三角矩阵R，使A=R′R 。
协方差矩阵半正定
- 在概率统计中，多维变量的协方差矩阵是对称矩阵，事实上同时它也是半正定矩阵：
推导
- 考虑一个由n个m维向量刻画的分布，即共n条数据，每条数据由一个m维向量表示：
- X的均值为{mu _X}
- X的协方差矩阵为:
- 协方差矩阵 Sigma_{X}，对其进行SVD分解：
- 由于 Sigma_{X} 是对称矩阵，可以得到：
- 而且U是正交矩阵，有：
- 令Y = {U^T}X - {U^T}{mu _X}：
- 由于Sigma是特征值为对角线元素的对角阵，因此对角线外元素为0，表示Y中向量相互之间不相关。
- 对于任意一个Sigma中的特征值lambda_i，计算公式为：
- 因此协方差矩阵的特征值非负，是半正定矩阵。
参考资料
- https://zhuanlan.zhihu.com/p/44860862
- https://baike.baidu.com/item/正定矩阵/11030459?fr=aladdin
