生成式模型与判别式模型

2023-10-12 09:35:07 浏览数 (2)

假设可观测到的集合为X,需要预测的变量集合为Y,其他变量集合为Z。

生成式模型是对联合概率分布

P(X,Y,Z)

进行建模,在给定观测集合X的条件下,通过计算边缘分布来得到对变量集合Y的推断,即:

P(Y|X)=frac{P(X,Y)}{P(X)}=frac{sum_ZP(X,Y,Z)}{sum_{Y,Z}P(Y,Z|X)}

判别式模型是直接对条件概率分布

P(Y,Z|X)

进行建模,然后消掉无关变量

Z

就可以得到对变量集合

Y

的预测,即:

P(Y|X)=sum_Z{P(Y,Z|X)}

常见的概率图模型有朴素贝叶斯、最大熵模型、贝叶斯网络、隐马尔可夫模型、条件随机场、pLSA、LDA。

  • 朴素贝叶斯、贝叶斯网络、pLSA、LDA等模型都是先对联合概率分布进行建模,然后再通过边缘计算得到对变量的预测,所以它们都属于生成式模型。
  • 隐马尔可夫模型(HMM)也属于生成式模型
  • 条件随机场(CRF)属于判别式模型

0 人点赞