L0、L1、L2范数在机器学习中的应用

2020-06-23 11:19:04 浏览数 (1)

正则化在机器学习中经常出现,但是我们常常知其然不知其所以然,今天将从正则化对模型的限制、正则化与贝叶斯先验的关系和结构风险最小化三个角度出发,谈谈L1、L2范数被使用作正则化项的原因。

  首先我们先从数学的角度出发,看看L0、L1、L2范数的定义,然后再分别从三个方面展开介绍。

L0范数指向量中非零元素的个数 L1范数:向量中每个元素绝对值的和

L2范数:向量元素绝对值的平方和再开平方

应用一:约束模型的特性

1.1 L2正则化——让模型变得简单

例如我们给下图的点建立一个模型:

我们可以直接建立线性模型:

0 人点赞