我们在在实际机器学习预测过程中，可能会经常遇到过拟合与欠拟合现象。
在多项式回归中，这种现象比较直观。我们将构造相关的数据去看：
代码语言：javascript复制x = np.random.uniform(-3, 3, size = 100)
y = 0.5 * x ** 2 x 2 np.random.normal(0, 1, size = 100) # 加上一点噪声
X = x.reshape(-1, 1)1. 欠拟合
代码语言：javascript复制lin_reg = LinearRegression()
lin_reg.fit(X, y)
y_pred = lin_reg.predict(X)
plt.scatter(x, y)
# plt.scatter(x, y_pred, color = 'r')
plt.plot(np.sort(x), y_pred[np.argsort(x)], color = 'r')
plt.show()
2. 正常拟合
代码语言：javascript复制def PolynomialRegression(degree):
poly_reg = Pipeline([
("poly", PolynomialFeatures(degree=degree)),
("std_scaler", StandardScaler()),
("lin_reg", LinearRegression())
])
return poly_reg
poly_reg2 = PolynomialRegression(degree=2)
poly_reg2.fit(X,y)
y_pred2 = poly_reg2.predict(X)
plt.scatter(x, y)
# plt.scatter(x, y_pred2, color = 'r')
plt.plot(np.sort(x), y_pred2[np.argsort(x)], color = 'r')
plt.show()
3. 过拟合
代码语言：javascript复制poly_reg3 = PolynomialRegression(degree=100)
poly_reg3.fit(X,y)
y_pred3 = poly_reg3.predict(X)
plt.scatter(x, y)
# plt.scatter(x, y_pred3, color = 'r')
plt.plot(np.sort(x), y_pred3[np.argsort(x)], color = 'r')
plt.show()
随着degree越大，均方误差肯定会越来越小，模型的效果肯定会更好。不过这样会使得模型的泛化能力变差，也就是对别的数据的预测效果会非常差。这也是我们用train_test_split划分数据集的原因。
