如何用正则化防止模型过拟合?

2022-08-26 16:02:42 浏览数 (1)

每天给你送来NLP技术干货!


©作者 | Poll

来自 | PaperWeekly

在总结正则化(Regularization)之前,我们先谈一谈正则化是什么,为什么要正则化。

个人认为正则化这个字眼有点太过抽象和宽泛,其实正则化的本质很简单,就是对某一问题加以先验的限制或约束以达到某种特定目的的一种手段或操作。在算法中使用正则化的目的是防止模型出现过拟合。一提到正则化,很多同学可能马上会想到常用的 L1 范数和 L2 范数,在汇总之前,我们先看下 LP 范数是什么。

LP范数

范数简单可以理解为用来表征向量空间中的距离,而距离的定义很抽象,只要满足非负、自反、三角不等式就可以称之为距离。LP 范数不是一个范数,而是一组范数,其定义如下:

0 人点赞