正则化在机器学习中经常出现,但是我们常常知其然不知其所以然,今天将从正则化对模型的限制、正则化与贝叶斯先验的关系和结构风险最小化三个角度出发,谈谈L1、L2范数被使用作正则化项的原因。
首先我们先从数学的角度出发,看看L0、L1、L2范数的定义,然后再分别从三个方面展开介绍。
L0范数指向量中非零元素的个数 L1范数:向量中每个元素绝对值的和
L2范数:向量元素绝对值的平方和再开平方
应用一:约束模型的特性
1.1 L2正则化——让模型变得简单
例如我们给下图的点建立一个模型:
我们可以直接建立线性模型: