局部加权回归
线性回归算法里的成本函数：
正规方程解出的参数解析表达式：
由于使用了过小的特征集合使得模型过于简单，在这种情形下数据中的某些非常明显的模式没有被成功地拟合出来，我们将其称之为:欠拟合(underfitting)。
由于使用了过大的特征集合使得模型过于复杂，算法拟合出的结果仅仅反映了所给的特定数据的特质，我们可以称之为过拟合。
在特征选择中存在上述两类问题。
这里讲到一类非参数学习算法，可以缓解对于选取特征的需求，就是局部加权回归算法。
这个算法可以让我们不必太担心对于特征的选择。
算法示意
称为波长函数， (tau)较小，则权值随距离下降得快， (tau)较大，则权值随距离下降得慢。
线性回归的概率解释
代表误差项，它表示了一种我们没有捕获到的特征，或者你也可以把它看成一种随机的噪声。
然后可以得到
是独立同分布的。
然后定义
这个就是参数Theta的似然性。
算法的目标也就变为：
再定义
然后最大化 ell(Theta) 就变成了最小化 2=J()
于是推导出了线性回归算法里的成本函数。
logistic回归
推导过程
上述g(Z)公式就叫做sigmoid函数，也叫logistic函数。
同样使用概率解释下logistic回归函数。
采用梯度上升算法来最大化
最后得到logistic回归的更新Theta的过程为
## 感知器算法
这个跟logistic算法很相似，更新(Theta)的过程为
