1. 介绍
回归(regression) Y变量为连续数值型(continuous numerical variable)，如：房价，人数，降雨量
分类(Classification): Y变量为类别型(categorical variable)，如：颜色类别，电脑品牌，有无信誉
2. 简单线性回归(Simple Linear Regression)
- 很多做决定过过程通常是根据两个或者多个变量之间的关系
- 回归分析(regression analysis)用来建立方程模拟两个或者多个变量之间如何关联
- 被预测的变量叫做：因变量(dependent variable), y, 输出(output)
- 被用来进行预测的变量叫做： 自变量(independent variable), x, 输入(input)
3. 简单线性回归介绍
- 简单线性回归包含一个自变量(x)和一个因变量(y)
- 以上两个变量的关系用一条直线来模拟
- 如果包含两个以上的自变量，则称作多元回归分析(multiple regression)
4. 简单线性回归模型
- 被用来描述因变量(y)和自变量(X)以及偏差(error)之间关系的方程叫做回归模型
- 简单线性回归的模型是:
5. 简单线性回归方程
E(y) = β0 β1x
这个方程对应的图像是一条直线，称作回归线 其中，β0是回归线的截距，β1是回归线的斜率 ，E(y)是在一个给定x值下y的期望值（均值）
6. 正向线性关系：
7. 负向线性关系：
8. 无关系
9. 估计的简单线性回归方程
ŷ=b0 b1x
这个方程叫做估计线性方程(estimated regression line)
其中，b0是估计线性方程的纵截距 b1是估计线性方程的斜率 ŷ是在自变量x等于一个给定值的时候，y的估计值
10. 线性回归分析流程：
11. 关于偏差ε的假定
- 是一个随机的变量，均值为0
- ε的方差(variance)对于所有的自变量x是一样的
- ε的值是独立的
- ε满足正态分布
12 . 简单线性回归模型举例：
汽车卖家做电视广告数量与卖出的汽车数量：
12 .1 如何练处适合简单线性回归模型的最佳回归线？
使
最小
12 .2 计算
计算b1
分子 = (1-2)(14-20) (3-2)(24-20) (2-2)(18-20) (1-2)(17-20) (3-2)(27-20)
= 6 4 0 3 7 = 20
分母 = （1-2）^2 (3-2)^2 (2-2)^2 (1-2)^2 (3-2)^2 = 1 1 0 1 1 = 4
b1 = 20/4 =5
计算b0
b0 = 20 - 5*2 = 20 - 10 = 10
12. 3预测：
假设有一周广告数量为6，预测的汽车销售量是多少？
代码实现：
代码语言：javascript复制# 简单现行回归：只有一个自变量 y=k*x b 预测使 (y-y*)^2 最小
import numpy as np
def fitSLR(x, y):
n = len(x)
dinominator = 0
numerator = 0
for i in range(0, n):
numerator = (x[i] - np.mean(x)) * (y[i] - np.mean(y))
dinominator = (x[i] - np.mean(x)) ** 2
print("numerator:" str(numerator))
print("dinominator:" str(dinominator))
b1 = numerator / float(dinominator)
b0 = np.mean(y) / float(np.mean(x))
return b0, b1
# y= b0 x*b1
def prefict(x, b0, b1):
return b0 x * b1
x = [1, 3, 2, 1, 3]
y = [14, 24, 18, 17, 27]
b0, b1 = fitSLR(x, y)
y_predict = prefict(6, b0, b1)
print("y_predict:" str(y_predict))运行结果：
代码语言：javascript复制numerator:20.0
dinominator:4.0
y_predict:40.0【注】：本文为麦子学院机器学习课程的学习笔记
