机器学习数学笔记|期望方差协方差矩阵

本博客为七月在线邹博老师机器学习数学课程学习笔记为七月在线打 call!!课程传送门[1]

简单概率计算

Example1

我们的思路是,若 A 先到达则假设 A 是一条长 1cm 的线段.B 出现的概率是一个点,我们只需要让 B 这个点落在 A 这条线段上即可.同理,若 B 先到达,则假设 B 是一条长 2cm 的线段,A 出现的概率是一个点,我们需要让 A 落在 B 这条线段上即可.

Example2

事件的独立性

期望与方差

离散型E(x)=sum_{i}X_{i}P_{i}

连续型E(x)=int^{infty}_{-infty}xf(x)dx

期望的性质

E(kX)=kE(X)

E(X Y)=E(X) E(Y)

若 X 和 Y 相互独立,即 P(AB)=P(A)P(B):

E(XY)=E(X)E(Y)

反之不成立,事实上,若 E(XY)=E(X)E(Y)只能说明 X 和 Y不相关.

Example1

从 1,2, 3,...98,99,2015 这 100 个数中任意选择若干个数(可能为 0 个数)求异或,试求异或的期望值.
1. 关于异或问题的计算,首先要将其转化为二进制数的形式.
2. 其次把握异或的计算法则,异或加法不进位,并且两位取 0,不同取 1.两两计算,两数相加之和与第三个数进行计算.
3. 此题中由于最后一个数最大,所以我们把其作为标准.将其作为第一个加数以二进制展开.

方差

定义:

Var(X)=E{[X-E(X)]^{2}}=E(X^{2})-E^{2}(X)

无条件成立性质:

Var(c)=0

Var(X c)=Var(X)

Var(kX)=k^{2}Var(X)

X 和 Y 独立:

Var(X Y)=Var(X) Var(Y)

方差的平方根称为标准差.

协方差

定义:

Cov(X,Y)=E{[X-E(X)] [Y-E(Y)]}

性质:

Cov(X,Y)=Cov(Y,X)

Cov(aX b,cY d)=acCov(X,Y)

Cov(X_{1} X_{2},Y)=Cov(X_{1},Y) Cov(X_{2},Y)

Cov(X,Y)=E(XY)-E(X)E(Y)

协方差和独立/不相关

X 和 Y 独立时,E(X,Y)=E(X)E(Y)而 Cov(X,Y)=E(XY)-E(X)E(Y),从而当 X 和 Y 独立时,Cov(X,Y)=0
但 X 和 Y 独立这个前提太强,我们定义:若 Cov(X,Y)=0.则称 X 和 Y 不相关.
协方差是两个随机变量具有相同方向变化趋势的度量
若 Cov(X,Y)大于 0,它们的变化趋势相同
若 Cov(X,Y)小于 0,它们的变化趋势相反
若 Cov(X,Y)等于 0,称 X 和 Y 不相关

协方差的上界

若Var(X)=sigma_{1}^{2},Var(Y)=sigma_{2}^{2}

则|Cov(X,Y)|leqsigma_{1}sigma_{2}

当且仅当X和Y之间有线性关系时,等号成立(Var()表示方差)

再谈独立与不相关

因为上述定理的保证,使得"不相关"事实上即"线性独立"
- 即:若 X 与 Y 不相关,说明 X 和 Y 之间没有线性关系(但是有可能存在其他函数关系),不能保证 X 和 Y 相互独立.
- 但是 X 和 Y 独立一定是不相关
但是对于二维正态随机变量,X 与 Y 不相关等价于 X 与 Y 相互独立.

Pearson 相关系数

协方差矩阵

当我们讨论两个事件时,我们称事件为 X,Y,其中对于 X 事件有很多种情况,我们可以用向量的方式表示一个事件 X 的不同情况.
我们原先讨论的是 X,Y 两个事件的协方差情况,如果对于 n 个事件,我们怎样计算不同事件之间的协方差?--这里引入协方差矩阵的概念.

参考资料

[1]

课程传送门: http://www.julyedu.com/video/play/38

笔记

0 人点赞