辑回归-Logistic Regression
逻辑回归恐怕是互联网领域用的最多的模型之一了，很多公司做算法的同学都会拿它做为算法系统进入模型阶段的baseline。
模型原理
逻辑回归是一种判别模型，与线性回归类似，它有比较强的先验假设 :
逻辑回归是判别模型，所以我们直接学习，以高斯分布为例:
整个原理部分的推导过程如下：
采用 MLE 或者 MAP 做参数求解:
损失函数
损失函数3 —— Cross Entropy Loss
简单理解，从概率角度：Cross Entropy损失函数衡量的是两个概率分布与之间的相似性，对真实分布估计的越准损失越小；从信息论角度：用编码方式对由编码方式产生的信息做编码，如果两种编码方式越接近，产生的信息损失越小。与Cross Entropy相关的一个概念是Kullback–Leibler divergence，后者是衡量两个概率分布接近程度的标量值，定义如下：
当两个分布完全一致时其值为0，显然Cross Entropy与Kullback–Leibler divergence的关系是：
往期推荐
1.机器学习原来这么有趣！【第一章】
2.【原创】机器学习从零开始系列连载(1)——基本概念
3.【原创】机器学习从零开始系列连载(2)——线性回归
