深度学习笔记系列(三):极大似然估计

2020-04-26 15:36:30 浏览数 (1)

极大似然估计方法(Maximum Likelihood Estimate,MLE)也称为最大概似估计或最大似然估计,其作用是通过采样的样本分布去估计整个数据中的某些参数。

简单点说,现在已知一个数据的概率分布,这个概率分布中有一些参数是未知的,那么我们如何通过采样的几个样本来估计这些参数呢,这个时候就要使用极大似然估计。

其实极大似然估计很多时候和我们的直觉是一样的,比如有一个系统会随机输出1-6的数字,你进行大量的实验后发现1出现的次数大概占总的1/6。然后你就会直觉地1出现的概率是1/6。其实这一过程你的潜意识里就用了极大似然估计的方法。

为了方便理解,这里举个简单的栗子。抛硬币,对于抛硬币来说它只会给出正面或者反面,现在我们假设给出正面的概率为a,那么反面的概率就是1-a。(毕竟硬币真反面图案不一样,所以也有可能不是50%对吧)。那么这里的a就是我们要估计的一个参数。

接下来我们做实验,假设在实验中一共投了15次硬币,其中前5次正面,后10次反面。根据这些样本我们尝试去估计原有的参数中的a。

似然函数的计算公式为:

此时我们的似然函数为:

其实这个式子也可以理解成,在给定a的情况下,我们投了15次硬币,其中前5次正面,后10次反面的概率为多少。既然我们观测的这个事情已经发生了,那么我们要找到一个a使这个概率越大越好。所以我们考虑对L求导,找导数为0时a的值。

由于直接求导比较麻烦,所以我们对两边取ln(ln不会影响单调性)得到:

然后右边对a求导并让导数等于0得到:

解得:

。而这个结果和我们的直觉也是一致的,因为我们投了15次,其中5次为正面。而极大似然估计可以理解为给这一直觉提供支持的一种依据。

0 人点赞