样本空间
outcomes 客观的所有互斥结果
events 0个或多个outcomes集合
sample space 所有可能outcomes的集合，互斥且详尽
概率空间
概率空间：sample space，events space和probability function
概率函数是将事件映射到区间 0,1 的实值函数，概率函数遵循概率公理（Kolmogorov Axioms）
加法 OR probability
P(A cup B) = P(A) P(B) - P(A cap B)
当AB互斥：
P(A cup B) = P(A) P(B)
乘法 AND probability
不独立 Dependent
P(A∩B)=P(A)∗P(B|A)
独立 Independent
P(A∩B)=P(A)∗P(B)
互斥 Mutually exclusive
P(A∩B)=0
有条件的 Conditional
P(A|B)=frac{P(A,B)}{P(B)}
独立 Independent
P(A,B)=P(A)∗P(B)
不相交 Disjoint
P(A,B)=0
可交换 Exhangeable
P(A then B)=P(B then A)
因式分解联合概率 Factoring joint probabilities
P(A,B)=P(A|B) ast P(B)
P(A,B,C)=P(A|B,C)∗P(B,C)=P(A|B,C)∗P(B|C)∗P(C)
概率分布 Probability Distributions
离散: binomial 二项，Poisson 泊松，geometric 几何
连续: normal 正态/高斯，exponential 指数，uniform 均匀
概率质量函数 Probability Mass Function (PMF)
sum_{x in X} f_x(x) = 1
离散变量的概率和为1
累积分布函数 cdf cumulative distribution function
F_X(b) = sum_{x in [-infty,b]} f_X(x)
概率密度函数 Probability Density Function (PDF)
int_{-infty}^infty f_x(x)dx = 1
域的积分为1
cdf
P(X le x) = F_X(x) = int_{-infty}^x f(u)du
正态分布pdf
X sim Norm(mu,sigma^2) text{, where}
f_x(x,mu,sigma^2) = frac{1}{sqrt{2pisigma^2}}e^{-frac{(x-mu)^2}{2sigma^2}}, (x,mu,sigma^2) in (mathbb{R},mathbb{R},mathbb{R}_ )
代码语言：python代码运行次数：0复制import matplotlib.pyplot as plt
import numpy as np
import scipy.stats as stats
import math
mu = 0
variance = 1
sigma = math.sqrt(variance)
x = np.linspace(mu - 3*sigma, mu 3*sigma, 100) #bounds and granularity
plt.plot(x, stats.norm.pdf(x, mu, sigma))
plt.show()
mu=0，方差1的正态分布函数的期望 Expectation：函数在概率分布下的平均值，离散分布计算加权平均值，权重由 x 值处的概率决定
离散分布
E[f] = sum_x f(x)^r p(x)
连续分布
E[f] = int f(x)^r p(x) dx
Bernoulli distribution
E[x] = sum_{x=0,1} xast p(x,theta) = 0ast(1-theta) 1asttheta = theta
方差 Variance
Var(X) = E[(X-E[X])^2] = int (X-E[X])^2 p(x) dxtext{连续情况}
偏度 Skewness 分布的对称性
alpha_3 = frac{E(X-E[X])^3}{(sqrt{Var(X)})^3}
峰度 Kurtosis 分布的峰值
alpha_4 = frac{E(X-E[X])^4}{(sqrt{Var(X)})^4}
对于正态分布，mean = median = mode。均值，中位数，众数相同
联合分布
P_{XY}(x,y) = P(X=x,Y=y)
条件分布的期望
E[X|Y=y_j] = sum_{X} x_iP_{X|Y}(x_i|y_j)
协方差 Covariance
cov[x,y] = E[(x-E[x])(y-E[y])] = E_{x,y}[xy]-E_x[x]E_y[y]
相关性/相关系数 Correlation (correlation coefficient)
rho_{XY} = frac{Cov(X,Y)}{sigma_xsigma_y}
如果XY独立，cov(X,Y)= corr(X,Y) = 0
参考：
https://sjster.github.io/introduction_to_computational_statistics/docs/index.html
