假设可观测到的集合为X,需要预测的变量集合为Y,其他变量集合为Z。
生成式模型是对联合概率分布
进行建模,在给定观测集合X的条件下,通过计算边缘分布来得到对变量集合Y的推断,即:
判别式模型是直接对条件概率分布
进行建模,然后消掉无关变量
就可以得到对变量集合
的预测,即:
常见的概率图模型有朴素贝叶斯、最大熵模型、贝叶斯网络、隐马尔可夫模型、条件随机场、pLSA、LDA。
- 朴素贝叶斯、贝叶斯网络、pLSA、LDA等模型都是先对联合概率分布进行建模,然后再通过边缘计算得到对变量的预测,所以它们都属于生成式模型。
- 隐马尔可夫模型(HMM)也属于生成式模型
- 条件随机场(CRF)属于判别式模型