线性代数 - 1 - 基础知识

2022-08-05 13:39:53 浏览数 (1)

线性代数，基础知识，温故知新。

定义

  • 向量：

向量默认为列向量：

  • 矩阵 mathbf{X} in mathbb{R}^{m times n}，表示为：

范数

向量范数
1-范数

各个元素的绝对值之和

2-范数

每个元素的平方和再开平方根

p-范数

  • 其中正整数p≥1，并且有 lim _{p rightarrow infty}|X|_{p}=max _{1 leq i leq n}left|x_{i}right|.
无穷范数

为向量中绝对值最大的元素的值。

矩阵范数
1-范数（列模）

矩阵的每一列上的元素绝对值先求和，再从中取个最大的，（列和最大）

2-范数（谱模）：

最大特征值开平方根：

无穷范数（行模）：

矩阵的每一行上的元素绝对值先求和，再从中取个最大的，（行和最大）

L0范数：

矩阵的非0元素的个数，通常用它来表示稀疏，L0范数越小0元素越多，也就越稀疏

L1范数：

矩阵中的每个元素绝对值之和，它是L0范数的最优凸近似，因此它也可以近似表示稀疏

F范数：

矩阵的各个元素平方之和再开平方根，它通常也叫做矩阵的L2范数，它的优点在它是一个凸函数，可以求导求解，易于计算

行列式

  • 方阵 A 的行列式，记作 det(A)或|A|：

  • 计算公式：
D=sum (- 1) ^ {k } a_{1 k_{ 1} } a_{2 k_{2} } cdots a_ { n k _ { n} }
  • 表示的是n个n维向量构成的n维平行多面体的体积，该体积有正负，若存在线性相关的向量，行列式为0
  • 行列式A中某行(或列)用同一数k乘,其结果等于kA
  • 行列式A等于其转置行列式AT(AT的第i行为A的第i列)
  • 行列式A中两行（或列）互换,其结果等于-A
  • 把行列式A的某行（或列）中各元同乘一数后加到另一行（或列）中各对应元上，结果仍然是A

方阵的迹

  • 方阵mathbf{A}=left(a_{i, j}right)_{n times n}的迹，记作operatorname{tr}(mathbf{A})，对角线元素之和，也等于特征值的和：

向量积

点积**（Dot Product）**

对应元素乘积和，结果不是一个向量，而是一个标量（Scalar）

叉乘（cross product）
三维向量的叉积：

用三阶行列式表示

其中overrightarrow{mathbf{i}}, overrightarrow{mathbf{j}}, overrightarrow{mathbf{k}}分别为x, y, z轴的单位向量。

  • overrightarrow{mathbf{u}}, overrightarrow{mathbf{v}}的叉积垂直于overrightarrow{mathbf{u}}, overrightarrow{mathbf{v}}构成的平面，其方向符合右手规则
  • 叉积的模等于overrightarrow{mathbf{u}}, overrightarrow{mathbf{v}}构成的平行四边形的面积
向量的并矢

给定两个向量 overrightarrow{mathbf{x}}=left(x_{1}, x_{2}, cdots, x_{n}right)^{T}, overrightarrow{mathbf{y}}=left(y_{1}, y_{2}, cdots, y_{m}right)^{T} ，则向量的并矢记作：

也记作overrightarrow{mathbf{x}} otimes overrightarrow{mathbf{y}}或者overrightarrow{mathbf{x}} overrightarrow{mathbf{y}}^{T}。

矩阵运算

给定两个矩阵mathbf{A}=left(a_{i, j}right) in mathbb{R}^{m times n}, mathbf{B}=left(b_{i, j}right) in mathbb{R}^{m times n} ，定义：

阿达马积(Hadamard product)（又称作逐元素积）

克罗内积(Kronnecker product)

偏导数

  • 标量对标量的偏导数：frac{partial u}{partial v} 。
  • 标量对向量（ n 维向量）的偏导数 ： frac{partial u}{partial overrightarrow{mathbf{v}}}=left(frac{partial u}{partial v_{1}}, frac{partial u}{partial v_{2}}, cdots, frac{partial u}{partial v_{n}}right)^{T}。
  • 标量对矩阵( m times n阶矩阵)的偏导数：

  • 向量（ m维向量）对标量的偏导数：frac{partial overrightarrow{mathbf{u}}}{partial v}=left(frac{partial u_{1}}{partial v}, frac{partial u_{2}}{partial v}, cdots, frac{partial u_{m}}{partial v}right)^{T} 。
  • 向量（ m维向量）对向量 ( n维向量) 的偏导数（雅可比矩阵，行优先）如果为列优先，则为矩阵的转置。

  • 矩阵( m times n阶矩阵)对标量的偏导数

参考资料

  • http://www.huaxiaozhuan.com/数学基础/chapters/1_algebra.html
  • https://blog.csdn.net/zaishuiyifangxym/article/details/81673491
html partial product

0 人点赞