【概率论与数理统计(研究生课程)】知识点总结7(参数估计)

矩估计

$$ begin{aligned} EX^l &= mu_l, quad l=1,2,... A_l &= frac{1}{n}sumlimits_{i=1}^{n}X_i^l make quad mu_l &=A_l end{aligned} $$

例如，当只有一个参数时，l取1，则EX=bar{X}

解题步骤：

1. 用EX^l找到参数与mu_l的关系；
2. 带入mu_l=A_l，用样本表示参数；
3. 解方程（组）得到参数的矩估计值。

极大似然估计

似然函数($theta$为待求参数)

• 离散型

• 连续型

解题步骤：

1. 先求密度函数（连续型），或者分布律（离散型）【==针对题目中只给分布函数的题型==】
2. 构造似然函数【必须是样本x_1,x_2,cdots,x_n的函数，而不是X_1,X_2,cdots,X_n的函数】
3. 对似然函数取对数【视情况而定，如果似然函数复杂，则取对数】
4. 【取对数后的似然函数或者原似然函数】对参数求导（只含有一个参数）或分别对参数求偏导（含有多个参数）
5. 令导数值为零，求解参数值。【如果有解，则这个值就是极大似然估计值；如果没有解，则判断导数值正负情况，以推断似然函数的单调性，从而根据单调性取得参数的极大似然估计值使似然函数最大】

估计量评选标准

无偏性

满足：

则称

1. bar{X}是mu的无偏估计
2. S^2=frac{1}{n-1}sumlimits_{i=1}^{n}(X_i-bar{X})^2=frac{1}{n-1}sumlimits_{i=1}^{n}X_i^2-nbar{X}^2是sigma^2的无偏估计
3. frac{1}{n}sumlimits_{i=1}^{n}(X_i-mu)^2是sigma^2的无偏估计
4. E(bar{X})=EX
5. E(S^2)=DX

一致性

hat{theta}xrightarrow{P} theta

有效性

hat{theta_1}和hat{theta_2}都是theta的无偏估计量，若Dhat{theta_1}<Dhat{theta_2}hat{theta_1}比hat{theta_2}有效。

优效估计量（有效估计量）

当估计量hat{theta}的方差Dhat{theta}达到罗—克拉美下界：

有效率：e(hat{theta})=frac{I_R}{Dhat{theta}}

区间估计

置信概率、置信度、置信水平 1-alpha P{underline{theta} le theta le bar{theta}}=1-alpha,theta置信度为1-alpha的置信区间(underline{theta}, bar{theta})。

==常用统计量：==

1. Z=frac{bar{X}-mu}{sigma/sqrt{n}} sim N(0,1), quad P{|Z|>Z_{frac{alpha}{2}}}=alpha
2. T=frac{bar{X}-mu}{S/sqrt{n}} sim t(n-1), quad P{|T|>t_{frac{alpha}{2}}(n-1)}=alpha
3. chi^2=frac{(n-1)S^2}{sigma^2} sim chi^2(n-1), quad P({chi^2<chi^2_{1-frac{alpha}{2}}(n-1)}cup {chi^2>chi^2_{frac{alpha}{2}}(n-1)})=alpha
4. F=frac{S_1^2/sigma_1^2}{S^2_2/sigma_2^2} sim F(n_1-1,n_2-1), quad P({F<F_{1-frac{alpha}{2}}(n_1-1,n_2-1)}cup {F>F_{frac{alpha}{2}}(n_1-1,n_2-1)})=alpha

正态总体均值的区间估计

单个正态总体$X_1,X_2,cdots,X_n, quad Xsim N(mu,sigma^2)$，求$mu$置信度$1-alpha$的置信区间$(underline{theta},bar{theta})$。

1. 方差已知 sigma^2=sigma_0^2，估计均值 构造统计量：Z=frac{bar{X}-mu}{sigma/sqrt{n}} sim N(0,1) P{-Z_{frac{alpha}{2}}<frac{bar{X}-mu}{sigma_0/sqrt{n}} <Z_{frac{alpha}{2}}}=1-alpha[bar{X}pm Z_{frac{alpha}{2}}frac{sigma_0}{sqrt{n}}]
2. 方差未知，估计均值，用S^2代替sigma^2 构造统计量：T=frac{bar{X}-mu}{S/sqrt{n}} sim t(n-1) P{-t_{frac{alpha}{2}}(n-1)<frac{bar{X}-mu}{S/sqrt{n}} <t_{frac{alpha}{2}}(n-1)}=1-alpha[bar{X}pm t_{frac{alpha}{2}}(n-1)frac{S}{sqrt{n}}] 当n>50frac{bar{X}-mu}{S/sqrt{n}} sim N(0,1)(近似)，则区间估计为[bar{X}pm Z_{frac{alpha}{2}}frac{S}{sqrt{n}}]

两个正态总体均值差$mu_1-mu_2$的置信区间

1. 方差已知，sigma_1^2, sigma_2^2 构造统计量：frac{bar{X}-bar{Y}-(mu_1-mu_2)}{sqrt{frac{sigma_1^2}{n_1} frac{sigma_2^2}{n_2}}} sim N(0,1) 推得：[bar{X}-bar{Y}pm Z_{frac{alpha}{2}}sqrt{frac{sigma_1^2}{n_1} frac{sigma_2^2}{n_2}}]
2. 方差未知但sigma_1^2=sigma_2^2=sigma^2，用S_1^2,S_2^2代替sigma_1^2,sigma_2^2 构造统计量：frac{bar{X}-bar{Y}-(mu_1-mu_2)}{S_wsqrt{frac{1}{n_1} frac{1}{n_2}}},S_w=sqrt{frac{(n_1-1)S_1^2 (n_2-1)S_2^2}{n_1 n_2-2}} 推得：[bar{X}-bar{Y}pm t_{frac{alpha}{2}}(n_1 n_2-2)S_wsqrt{frac{1}{n_1} frac{1}{n_2}}]

大子样对两正态总体均值差的区间估计

方差已知，frac{bar{X}-bar{Y}-(mu_1-mu_2)}{sqrt{frac{sigma_1^2}{n_1} frac{sigma_2^2}{n_2}}} sim N(0,1)【大子样近似】

推得： [bar{X}-bar{Y}pm Z_{frac{alpha}{2}}sqrt{frac{sigma_1^2}{n_1} frac{sigma_2^2}{n_2}}]

方差未知，用S_1^2,S_2^2代替sigma_1^2,sigma_2^2，当n_1,n_2都很大时，frac{bar{X}-bar{Y}-(mu_1-mu_2)}{sqrt{frac{S_1^2}{n_1} frac{S_2^2}{n_2}}} sim N(0,1) 【大子样近似】

推得： [bar{X}-bar{Y}pm Z_{frac{alpha}{2}}sqrt{frac{S_1^2}{n_1} frac{S_2^2}{n_2}}]

正态总体方差的区间估计

单个正态总体

1. mu已知 构造统计量：chi^2=frac{sumlimits_{i=1}^{n}(X_i-mu)^2}{sigma^2} sim chi^2(n) P{chi^2_{1-frac{alpha}{2}}(n) le frac{sumlimits_{i=1}^{n}(X_i-mu)^2}{sigma^2} lechi^2_{frac{alpha}{2}(n)} }=1-alpha 推得： [frac{sumlimits_{i=1}^{n}(X_i-mu)^2}{chi^2_{frac{alpha}{2}}(n-1)},frac{sumlimits_{i=1}^{n}(X_i-mu)^2}{chi^2_{1-frac{alpha}{2}}(n-1)}]
2. mu未知 构造统计量：frac{(n-1)S^2}{sigma^2}sim chi^2(n-1) P{chi^2_{1-frac{alpha}{2}}(n-1) le frac{(n-1)S^2}{sigma^2} lechi^2_{frac{alpha}{2}(n-1)} }=1-alpha 推得： [frac{(n-1)S^2}{chi^2_{frac{alpha}{2}}(n-1)},frac{(n-1)S^2}{chi^2_{1-frac{alpha}{2}}(n-1)}]

两个正态总体方差比$frac{sigma_1^2}{sigma_2^2}$的区间估计

构造统计量：F=frac{sigma_1^2/sigma_2^2}{S_1^2/S_2^2} sim F(n_2-1,n_1-1)

P{F_{1-frac{alpha}{2}}(n_2-1,n_1-1)le frac{sigma_1^2/sigma_2^2}{S_1^2/S_2^2} le F_{frac{alpha}{2}}(n_2-1,n_1-1) }=1-alpha

推得：[frac{S1^2}{S_2^2}F_{1-frac{alpha}{2}}(n_2-1,n_1-1),frac{S1^2}{S_2^2}F_{frac{alpha}{2}}(n_2-1,n_1-1)]=[frac{S1^2}{S_2^2}frac{1}{F_{frac{alpha}{2}}(n_1-1,n_2-1)},frac{S1^2}{S_2^2}F_{frac{alpha}{2}}(n_2-1,n_1-1)]

单侧置信区间

单侧置信区间在统计量的构造上与双侧的一致，在求区间时frac{alpha}{2}换成alpha。