混淆矩阵
准确率
Accuracy = (TP TN)/(TP TN FP FN)
精度
精度可以帮助回答在所有预测为P的点中，有多少是是真正的P。 Precision = TP/(TP FP)
Precision = 6/8 = 0.75
召回率
Recall = TP/(TP FN) =
F1得分
F1 Score = 2* Precision*Recall/(precision Recall )
F-β得分
β越小，F值越接近精度。 在下面的三个模型中，哪个的 F-β 得分应该是 of 2、1 和 0.5？将每个模型与相应的得分连到一起。
- 检测宇宙飞船的故障零件
- 向手机中发送关于用户可能喜欢的视频的通知
- 向潜在客户寄送免费样品
- 对于宇宙飞船，我们不允许出现任何故障零件，可以检查本身能正常运转的零件。因此，这是一个高召回率模型，因此 β = 2。
- 对于通知模型，因为是免费发送给客户，如果向更多的用户发送邮件也无害。但是也不能太过了，因为可能会惹怒用户。我们还希望找到尽可能多感兴趣的用户。因此，这个模型应该具有合适的精度和合适的召回率。β = 1 应该可行。
- 对于免费样品模型，因为寄送样品需要成本，我们不希望向不感兴趣的用户寄送样品。因此是个高精度模型。β = 0.5 应该可行。
ROC曲线
回归指标
- 平均绝对误差
平均绝对误差有一个问题，即绝对值函数是不可微分的，这不利于使用诸如梯度下降等方法，解决这个问题，使用均方误差 2.均方误差
3.R2 Score
