机器学习系列:
机器学习(1) - 人工智能起源
机器学习(2)细说监督学习
机器学习(3)再说监督学习的套路
前面说到了机器学习的套路,今天我们来手推下线性回归模型(单变量)的参数推导。
线性模型(单变量)是最基础的模型,单变量,也就是二维的情况,通过它,我们可以清楚的学习到监督学习数学推导的基本套路:定义代价函数,让它最小,搞定。
线性回归模型,单变量的情况下,只有2个参数,y = w*x b,这个学过数学的同学都知道,拟合线性用到的算法是MSE(最小均方误差),这在机器学习中的表达方式就是代价函数。
今天我们给出的是通过数学求导的方式来计算参数,这种方式解释性好,但是需要求导数,计算量比较大,后面我们还会给出梯度下降法的手推过程。
我们会给出代价函数J(w, b),然后求它对参数w,b的导数最小,得到的参数就是最接近的参数了。
具体参见如下推导: