版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/github_39655029/article/details/89425193
模型选择、欠拟合与过拟合
训练误差与泛化误差
- 训练误差：training erro，指模型在训练数据集上表现出的误差；
- 泛化误差：generalization error，指模型在任意一个测试数据样本上表现出的误差的期望，常常通过测试数据集上的误差来近似； 两者都可以使用损失函数（如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失函数），一般情况下，训练误差的期望小于或等于泛化误差，即由训练数据集学到的模型参数会使模型在训练数据集上的表现优于或等于在测试数据集上的表现。但是，由于泛化误差无法由训练误差进行估计，所以一位降低训练误差并不代表泛化误差一定降低；
模型选择（model selection）
- 定义：评估若干候选模型的表现并从中选择模型的过程，供选择的模型是有不同超参数的同类模型，经常使用到验证数据集（validation data set）；
- 验证数据集
预留一部分在训练数据集和测试数据集以外的数据来进行模型选择，这部分数据被称为验证数据集，简称验证集（validation set）；
- K折交叉验证：为解决预留大量验证数据导致训练数据不够用的问题，可使用K折交叉验证（K-fold cross-validation）。实验中，我们将原始训练数据集分割为K个不重合的子数据集，然后做K次模型训练和验证，每次使用一个数据集验证模型，并使用其他K-1个子数据集来训练模型。在这K词训练和验证中，每次验证模型的子数据集都不同。然后，对这K次训练误差和验证误差分别求平均；
欠拟合与过拟合
- 欠拟合：underfitting，模型无法得到较低的训练误差；
- 过拟合：overfitting，模型的训练误差远小于它在测试数据集上的误差；
- 模型复杂度 使用下列K阶多项式拟合函数：
来近似y，wk为模型的权重参数，b为偏差参数，多项式函数拟合也像线性回归一样使用平方损失函数。特别地，一阶多项式函数拟合又叫做线性函数拟合。之所以选用K阶函数，主要是因为高阶多项式函数模型参数多，模型函数的选择空间更大，故高阶多项式函数比低阶多项式函数的复杂度更高。高阶多项式函数比低阶多项式函数更易在相同训练数据集上得到更低训练误差。在训练数据集给定的情况下，模型复杂度与误差间关系如下图：
若模型复杂度过低，容易出现欠拟合现象；若模型复杂度过高，易出现过拟合。应对过拟合与欠拟合的一个方法就是针对数据集选择合适复杂度的模型；
- 影响欠拟合和过拟合的另一个重要因素是训练数据集的大小；一般而言，若训练数据集中样本数过少，特别是比模型参数数量（按元素计）更少时，过拟合更易发生；此外，泛化误差不会随训练数据集中样本数量增加而增大，因此在允许范围内，通常将训练数据集设置大一些，尤其是对于复杂度较高的模型；
多项式函数拟合实验
代码语言：javascript复制#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2019/4/22 1:21
# @Author : cunyu
# @Site : cunyu1943.github.io
# @File : PolyFuncFitting.py
# @Software: PyCharm
import d2lzh as d2l
from mxnet import autograd, gluon, nd
from mxnet.gluon import data as gdata, loss as gloss, nn
# 生成数据集
n_train, n_test, true_w, true_b = 100, 100, [1.2, -3.4, 5.6], 5
features = nd.random.normal(shape=(n_train n_test, 1))
poly_features = nd.concat(features, nd.power(features, 2), nd.power(features, 3))
labels = (true_w[0] * poly_features[:, 0] true_w[1] * poly_features[:, 1] true_w[2] * poly_features[:, 2] true_b)
labels = nd.random.normal(scale=0.1, shape=labels.shape)
print(features[:2], poly_features[:2], labels[:2])
# 定义、训练与测试模型
def semilogy(x_vals, y_vals, x_label, y_label, x2_vals=None, y2_vals=None, legend=None, figsize=(3.5, 2.5)):
d2l.set_figsize(figsize)
d2l.plt.xlabel(x_label)
d2l.plt.ylabel(y_label)
d2l.plt.semilogy(x_vals, y_vals)
if x2_vals and y2_vals:
d2l.plt.semilogy(x2_vals, y2_vals, linestyle=':')
d2l.plt.legend(legend)
d2l.plt.show()
num_epochs, loss = 100, gloss.L2Loss()
def fit_and_plot(train_features, test_features, train_labels, test_labels):
net = nn.Sequential()
net.add(nn.Dense(1))
net.initialize()
batch_size = min(10, train_labels.shape[0])
train_iter = gdata.DataLoader(gdata.ArrayDataset(train_features, train_labels), batch_size, shuffle=True)
trainer = gluon.Trainer(net.collect_params(), 'sgd', {'learning_rate': 0.01})
train_ls, test_ls = [], []
for _ in range(num_epochs):
for X, y in train_iter:
with autograd.record():
l = loss(net(X), y)
l.backward()
trainer.step(batch_size)
train_ls.append(loss(net(train_features),train_labels).mean().asscalar())
test_ls.append(loss(net(test_features),test_labels).mean().asscalar())
print('final epoch: train loss', train_ls[-1], 'test loss', test_ls[-1])
semilogy(range(1, num_epochs 1), train_ls, 'epochs', 'loss',range(1, num_epochs 1), test_ls, ['train', 'test'])
print('weight:', net[0].weight.data().asnumpy(),'nbias:', net[0].bias.data().asnumpy())
# 三阶多项式函数拟合（正常）
fit_and_plot(poly_features[:n_train, :], poly_features[n_train:, :],labels[:n_train], labels[n_train:])
# 线性函数拟合（欠拟合）
fit_and_plot(features[:n_train, :], features[n_train:, :], labels[:n_train],labels[n_train:])
# 训练样本不足（过拟合）
fit_and_plot(poly_features[0:2, :], poly_features[n_train:, :], labels[0:2],labels[n_train:])权重衰减
- 定义 针对过拟合现象，虽然增大训练数据集有可能减轻过拟合，但获取额外训练数据代价高昂，因此常采用权重衰减（weight decay）的方法来解决过拟合问题。权重衰减等价于L2范数正则化（regularization），通过为模型损失函数添加惩罚项使学出的模型参数较小；
