《机器学习》-- 第三章线性回归

正文共：2877 字 79 图预计阅读时间：8 分钟

前文推送

MIT线性代数相关资源汇总
Pandas爬取历史天气数据
关联规则（一）：基本原理
关联规则（二）：Apriori算法原理及实现
《机器学习》--第一章
聊一聊sklearn顶层设计
《机器学习》--第二章

本文目录：

3.1 基本形式
3.2 线性回归
- 3.2.1 一元线性回归
- 3.2.2 多元线性回归

第三章线性模型

3.1 基本形式

给定由

个属性描述的示例

，其中

是

的第

个属性上的取值，线性模型试图学得一个通过属性的线性组合来进行预测函数，即

一般用向量形式

其中

。

和

学得之后，模型就得以确定。

线性模型形式简单、易于建模，但却蕴涵着机器学习中一些重要的基本思想，许多功能更为强大的非线性模型(nonlinear model)可在线性模型的基础上通过引入层级结构或高维映射而得，此外，由于

直观表达了各属性在预测中的重要性，因此线性模型有很好的可解释性(comprehensibility) / 可理解性 (understandability) 。

例：西瓜问题中学得

，则意味着可通过综合考虑色泽、根蒂和敲声来判断瓜好不好，其中根蒂最要紧，而敲声比色泽更重要。

3.2 线性回归

给定数据集

，其中

。“线性回归”(linear regression)试图学得一个线性模型以尽可能准确地预测实值输出标记。

例如：通过历年的人口数据预测2020年人口数量。在这类问题中，往往我们会先得到一系列的有标记数据，例如：2000--13亿…2018--15亿，这时输入的属性只有一个，即年份；也有输入多属性的情形，假设我们预测一个人的收入，这时输入的属性值就不止一个了，例如：（学历，年龄，性别，颜值，身高，体重）-- 15 k。

有时这些输入的属性值并不能直接被我们的学习模型所用，需要进行相应的处理，对于连续数值型的特征，一般都可以被学习器所用，有时会根据具体的情形作相应的预处理，例如：归一化等；对于离散型的特征，针对其属性值间的特点，有不同的处理方式：

若属性值之间存在“序关系”（order），则可以将其转化为连续值，例如：身高属性分为{高，中等，矮}，可转化为数值：{1, 0.5, 0}。
若属性值之间不存在“序关系”，则通常将其转化为向量的形式，例如：瓜类的取值{西瓜，南瓜，黄瓜}，可转化为向量：{(1, 0, 0)，(0, 1, 0)，(0, 0, 1)}。

3.2.1 一元（简单）线性回归

（1）当输入特征只有一个的时候，就是最简单的情形。

线性回归试图学得

，其中

是误差项的随机变量，反映了自变量之外的随机因素对因变量的影响，它是不同由自变量

和因变量

的线性关系所解释的变异性。

如何确定

？通过计算出每个样本预测值与真实值之间的误差平方并求和，通过最小化均方误差 (mean-square error，MSE) / 平方损失 (square loss) 即可。均方误差有非常好的几何意义，它对应了常用的欧几里得距离或简称“欧氏距离” (Euclidean distance)。基于均方误差最小化来进行模型求解的方法称为“最小二乘法” (least square method)。在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧氏距离之和最小。