感知机
要如何求出权重向量呢?基本做法和回归时相同,将权重向量用作参数,创建更新表达式来更新参数。这就需要一个被称为感知机的模型。
感知机是接受多个输入后将每个值与各自的权重相乘,最后输出总和的模型。数据包含三个特征的感知机模型如下所示。
感知机是非常简单的模型,基本不会应用到实际的问题当中,但是它是神经网络和深度学习模型的基础模型。
下表示收集到的六个训练数据。
我们将权重向量与数据的特征向量内积大于 0 的数据返回值 1,而将内积小于 0 的数据返回值 -1。我们可以将其定义为一个新的函数,这个函数被称为 判别函数。
我们用内积的第二种定义方式来看看这些内积大于 0 或者小于 0 的向量。
两个向量的模长必定为正数,因此要判断内积的正负,只需要观察两个向量之间夹角的余弦值即可。余弦函数图像如下所示。
知道了所有与权重向量之间的内积为负的向量区域,内积为正的向量区域刚好与内积为负的向量区域相反。
References:
1.《白话机器学习的数学》