【机器学习】知否？知否？广义线性模型

本文介绍了广义线性模型，其中线性回归、logistic回归，softmax回归同属于广义线性模型。从指数分布家族推导出高斯分布、伯努利分布对应的指数分布家族形式，以最大化期望为目标推导出线性回归、logistic回归，softmax回归的目标函数，进一步强调模型的概率解释性。

作者 | 文杰

编辑 | yuquanle

广义线性模型

从线性回归，logistic回归，softmax回归，最大熵的概率解释来看，我们会发现线性回归是基于高斯分布 最大似然估计的结果，logistic回归是伯努利分布 对数最大似然估计的结果，softmax回归是多项分布 对数最大似然估计的结果，最大熵是基于期望 对数似然估计的结果。前三者可以从广义线性模型角度来看。