本文记录常见的概率分布。
基础概念
probability mass function:PMF
- 概率质量函数（离散随机变量密度函数）
- 和为1
probability density function：PDF
- 概率密度函数（连续随机变量）
- 积分为1
常见分布
均匀分布
离散随机变量的均匀分布
- 假设 X 有 k 个取值: x_{1}, x_{2}, cdots, x_{k} , 则均匀分布的概率密度函数( probability mass function:PMF )为:
连续随机变量的均匀分布
- 假设 X 在 [mathrm{a}, mathrm{b}] 上均匀分布，则其概率密度函数( probability density function: PDF )为:
- 期望：
- 方差：
伯努利分布
- 伯努利分布：参数为 phi in[0,1]_{circ} 随机变量 X in{0,1} 。
- 概率分布函数： p(X=x)=phi{x}(1-phi){1-x}, x in{0,1}
- 期望: mathbb{E}[X]=phi
- 方差: operatorname{Var}[X]=phi(1-phi)
- categorical 分布：它是二项分布的推广, 也称作 multinoulli 分布。假设随机变量 X in{1,2, cdots, K} , 其概率分布函数为:
其中 theta_{i} 为参数, 它满足 theta_{i} in[0,1] , 且 sum_{i=1}^{K-1} theta_{i} in[0,1] 。
二项分布
- 假设试验只有两种结果：成功的概率为 phi , 失败的概率为 1-phi_{circ} 则二项分布描述了：独立重复地进行 n 次 试验中，成功 x 次的概率。
- 概率质量函数:
参考资料
- http://www.huaxiaozhuan.com/数学基础/chapters/2_probability.html
