2023-12-01 08:29:51
浏览数 (2)
多变量预测
多元线性回归
对于多个特征量(Features)，规定符号表示：
n 特征的总数量
x^{(i)} 第i个训练样本的输入特征向量，
i表示的是一个索引(Index)
x_j^i 第i个训练样本中特征向量的第j个值
此时的假设函数不再是单纯的
h_θ (x)=θ_0 θ_1 x
对于多个特征量，此时的假设函数为：
h_θ (x)=θ^T x=θ_0 θ_1 x^{(1)} θ_2 x^{(2)} … θ_n x^{(n)}
对这个样本进行简化：
定义
x_0^i=1, 定义参数向量：
x=begin{bmatrix} x_0\x_1\...\x_nend{bmatrix}n，系数向量：
θ=begin{bmatrix}θ_0\θ_1\…\θ_nend{bmatrix}
有：
h_θ (x)=θ^T x
这就是假设函数的向量形式。
梯度下降算法在多元线性回归中的应用
对于假设函数：
h_θ (x)=θ^T x=θ_0 θ_1 x^{(1)} θ_2 x^{(2)} … θ_n x^{(n)}
和损失函数：
J(θ_0,θ_1,…,θ_n)=frac{1}{2m} ∑_{i=1}^m(h_θ (x^{(i)} )−y^{(i)} )^2
此时的梯度下降算法：
Repeat{
θ_j≔θ_j−αfrac{∂J(θ)}{∂θ_j}
}
对
frac{∂J(θ)}{∂θ_j}进行等价变形：
Repeat{
θ_j≔θ_j−αfrac{1}{m}∑_{i=1}^m(h_θ (x^{(i)} )−y^{(i)}) x_j^i
}
