最小二乘法
“损失函数”是如何设计出来的？直观理解“最小二乘法”和“极大似然估计法” - 哔哩哔哩 (bilibili.com)
1.最小二乘法
求模型的结果与真实值的差距（或者说是损失大小）
displaystylesum{i=1}^n|hat y_i-y_i|，为了方便求导（梯度下降），我们可以将该算法设计成mindisplaystylesum{i=1}^nfrac{1}{2}(hat y_i-y_i)^2
2.极大似然函数
L(theta)似然函数，H(theta)熵
求解极大似然函数需要知道数据的分布，然后根据概率求参数，最后求解
3.最小二乘和极大似然
在正态分布上两者的损失函数是相同的
4.极大似然和交叉熵
除去量纲等，两者计算得到的效果是相同的
