机器学习-线性回归

每个特征变量可以首先映射到⼀一个函数，然后再参与线性计算,模型如下：

y = theta_0 theta_1x_1 theta_2x_2 · · · theta_nx_n

其中 x_1,x_2,...,x_n表示自变量（特征分量），y表示因变量，theta是权重，theta_0是偏移项（截距）;theta_i越大，说明x_i对y结果的影响越⼤输入空间映射到特征空间(映射函数phi(x))，建模.为 h_theta(x)=theta^Tphi(x)

特征映射相关技术，包括特征哈希、特征学习、Kernel等

预测值 h_theta(x)与真实值y之差越小越好，加入损失函数(平方损失函数):

J(theta)={0.5}sum_{i=1}^{n}{(h_theta(x^i)-y^i)^2}

求min{J(theta)}损失函数就是x^i的预测值h_theta(x^i)与真实值y^i之差的平方和

回归模型（尤其是线性回归类）的⽬目标函数通常⽤用平⽅方损失函数来作为优化的⽬目标函数

为什么用误差平方和作为目标函数：

根据中⼼心极限定理理，把那些对结果影响⽐比较⼩小的变量量（假设独⽴立同分布）之和认为服从正态分布是合理理的

如果数据是高斯分布的，输入值x^i，预测值theta^Tx^i，真实值y^i，误差epsilon^{i}，线性模型为，

y^i=theta^Tx^i epsilon^{i}

根据中心极限定理，认为变量之和服从高斯分布,即

e^{i} = y^i-theta^Tx^i

则，x,y的条件概率为

p(y^i|x^i;theta) = frac{1}{sqrt{2pi}sigma}exp(-frac{(y^i-theta^Tx^i)^2}{2sigma^2})

p(y^i|x^i;theta)越大，证明越接近真实值，还要考虑拟合过度以及模型的泛化能力问题

优化目标函数：使目标函数最小

代码语言：javascript复制

最小二乘法
梯度下降法
    批量梯度下降法
    随机梯度下降法
拉格朗日乘子法

例子Misplaced &

0 人点赞