数学预备知识
3、线性代数
3.1、矩阵奇异值分解（SVD）
矩阵分解的本质是将原本复杂的矩阵分解成对应的几个简单矩阵的乘积的形式。使得矩阵分析起来更加简单。很多矩阵都是不能够进行特征值分解的。这种情况下，如果我们想通过矩阵分解的形式将原本比较复杂的矩阵问题分解成比较简单的矩阵相乘的形式，会对其进行奇异值分解。
将普通矩阵分解为奇异向量和奇异值，对于一个m x n的矩阵A，其奇异值分解可以表示为：
其中，U是一个m x m的正交矩阵，Σ 是一个m x n的矩阵，其对角线上的元素称为奇异值，Σ 不一定是方阵V是一个n x n的正交矩阵。 Σ对角线上的元素被称为A的奇异值。 U的列向量：左奇异向量 V的列向量：右奇异向量 对角阵不是方阵，这说法头一次见，如何确定Σ的元素？
的特征值相同，假设特征值为
，Σ中元素为
同理：
，
，
求得的σ只选取非零的。
如何确定Σ主对角线位置？
【这里我反复被网上的对角阵可以不是方阵？非方阵如何确定对角线位置？的各种矛盾回答搞晕了，奇异值分解的博客很少提到σ的排列问题，浪费了很多时间，最终在周志华的《机器学习》附录中找到了准确描述。视频在数学预备知识这部分讲得稀烂，没有复看的价值
