简单的有监督学习实例——简单线性回归[通俗易懂]

2022-09-02 15:59:36 浏览数 (2)

大家好,又见面了,我是你们的朋友全栈君。

一、 sklearn.linear_model.LinearRegression 线性回归

https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LinearRegression.html

首先,要创建一组数据,随机选取一组x数据,然后计算出它在2x-1这条线附近对应的数据,画出其散点图:

代码语言:javascript复制
# 演示简单的线性回归
import matplotlib.pyplot as plt
import numpy as np
rng = np.random.RandomState(42)
x = 10 * rng.rand(50)
y = 2 * x - 1   rng.randn(50)   # 在 2x-1上下附近的x对应的值
plt.scatter(x, y)

接下来,就按照步骤一步步实现:

1、选择模型类:

在这个例子中,我们想要计算一个简单的线性回归模型,可以直接导入线性回归模型类:

代码语言:javascript复制
from sklearn.linear_model import LinearRegression
2、选择模型超参数

在上一步选择好模型类之后,还有许多的参数需要配置。比如下面的:

  • 拟合偏移量(直线的截距)
  • 对模型进行归一化处理
  • 对特征进行预处理以提高模型灵活性
  • 在模型中使用哪两种正则化类型
  • 使用多少模型组件

对于这个线性回归实例,可以实例化 LinearRegression 类并用 fit_intercept 超参数设置是否想要拟合直线的截距。

代码语言:javascript复制
>>>model = LinearRegression(fit_intercept=True)  # fit_intercept为 True 要计算此模型的截距
>>>model
LinearRegression(copy_X=True, fit_intercept=True, n_jobs=None,
         normalize=False)

可以看到model 的参数配置

3、将数据整理成特征矩阵和目标数组

根据Scikit-Learn的数据表示方法,它需要二维特征矩阵和一维目标数组。现在,我们已经有了长度为 n_samples 的目标数组,但还需要将数据 x 整理成 [n_samples, n_features] 的形式。 np.newaxis 是插入新维度。

代码语言:javascript复制
>>>X = x[:, np.newaxis]  # 将 x 数据整理成 [n_samples, n_features] 的形式
>>>X.shape
(50, 1)
4、用模型拟合数据
代码语言:javascript复制
model.fit(X, y)   # fit 拟合后的结果存在model属性中

所有通过fit方法获得的模型参数都带一条下划线。

代码语言:javascript复制
>>>model.coef_     # 拟合的直线斜率
array([1.9776566])
>>>model.intercept_     # 拟合的直线截距
-0.9033107255311164

可以发现,拟合出来的直线斜率和截距和前面样本数据定义(斜率2,截距-1)非常接近。

5、预测新数据的标签

模型训练出来以后,有监督学习的主要任务变成了对不属于训练集的新数据进行预测。用 predict() 方法进行预测。“新数据”是特征矩阵的 x 的坐标值,我么需要用模型预测出目标数组的 y 轴坐标:

代码语言:javascript复制
xfit = np.linspace(-1, 11)   # 产生新数据,是特征矩阵的 x 的坐标值

将这些 x 值转换成[n_samples, n_features] 的特征矩阵形式,

代码语言:javascript复制
Xfit = xfit[:, np.newaxis]   # 将数据转变为[n_samples, n_features] 的形式
yfit = model.predict(Xfit)   # 用模型预测目标数组的 y 轴坐标

然后,把原始数据和拟合结果都可视化出来:

代码语言:javascript复制
plt.scatter(x, y)
plt.plot(xfit, yfit)
二、鸢尾花数据分类

问题示例:如何为鸢尾花数据集建立模型,先用一部分数据进行训练,再用模型预测出其他样本的标签? 下面使用高斯朴素贝叶斯方法完成任务。由于需要用模型之前没有接触过的数据评估它的训练效果,因此得先将数据分割成训练集和测试集。可以借助 train_test_split 函数分割很方便: https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.train_test_split.html

代码语言:javascript复制
from sklearn.model_selection import train_test_split
xtrain, xtest, ytrain, ytest = train_test_split(x_iris,
									 y_iris, random_state=1)   # 对数据进行分类
from sklearn.naive_bayes import GaussianNB
model = GaussianNB()     # 初始化模型
model.fit(xtrain, ytrain)  # 用模型拟合数据
y_model = model.predict(xtest)   # 对新数据进行预测
from sklearn.metrics import accuracy_score
accuracy_score(ytest, y_model)  # 输出模型预测准确率
0.9736842105263158

理清楚一下上面程序的过程:

  1. 把数据集分类成 xtrain, xtest, ytrain, ytest
  2. 用训练集数据 xtrain, ytrain 来进行拟合
  3. 根据拟合的结果来对 xtest 数据进行预测
  4. 得出预测结果 y_model 和原来结果 y_test 的准确率
三、鸢尾花数据降维

PCA: https://scikit-learn.org/stable/modules/generated/sklearn.decomposition.PCA.html PCA.fit_transform : https://scikit-learn.org/stable/modules/generated/sklearn.decomposition.PCA.html#sklearn.decomposition.PCA.fit_transform sns.lmplot() : https://seaborn.pydata.org/generated/seaborn.lmplot.html

代码语言:javascript复制
from sklearn.decomposition import PCA
model = PCA(n_components=2)   # 设置超参数,初始化模型
model.fit(x_iris)    # 拟合数据,这里不用y变量
x_2d = model.transform(x_iris)   # 将数据转化成二维
iris['PCA1'] = x_2d[:, 0]
iris['PCA2'] = x_2d[:, 1]
sns.lmplot('PCA1', 'PCA2', hue='species', data=iris, fit_reg=False)
四、鸢尾花数据分类

对鸢尾花数据进行聚类。聚类算法是对没有任何标签的数据集进行分组。 GaussianMixture: https://scikit-learn.org/stable/modules/generated/sklearn.mixture.GaussianMixture.html

代码语言:javascript复制
from sklearn.mixture import GaussianMixture
model = GaussianMixture(n_components=3, covariance_type='full')
model.fit(x_iris)
y_gmm = model.predict(x_iris)
iris['cluster'] = y_gmm
sns.lmplot('PCA1', 'PCA2', hue='species', data=iris, col='cluster', fit_reg=False)

可以看出,第二幅图中的花的颜色还有一点混淆。

发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/140456.html原文链接:https://javaforall.cn

0 人点赞