3.8 Softmax regression
- Softmax回归.能让你在试图识别某一分类时作出预测,或者说是多种分类的一个,不只是识别两个分类.
- 以识别图片的例子而言,我们设总的类别数为C,则此例中设置C为4,最后一层设置神经元个数与C相等为4,计算值为在输入值为X的情况下四种类型每一个的概率有多大.
- 对于输出层的神经元是一个 (4, 1)的向量,并且输出的
的四个数字加起来应该等于1
Softmax layer
- Softmax函数的特殊性在于输入的是一个向量输出也是一个向量.
3.9训练一个softmax分类器
- softmax是相对于hardmax而言的,hardmax会将输出值概率最大的值标记为1,而其他分类都记为0.而softmax还是保存了概率的输出值.
- softmax回归将logistic回归扩展到了C类,可以证明当C=2时,softmax回归就是普通的logistic回归,也可以视为logistic是softmax回归的特殊形式.
怎样训练带有softmax输出层的神经网络
- 这是单个样本上的loss function情况,对于整个数据集上的cost function 而言是所有数据的loss function之和取平均,所以只要loss function计算方法无误,可以扩展到整个数据集上.
- 整个数据集此时的数据结构为(假设有m个训练数据,即矩阵会有m列),得到的会是一个(1,m)的计算数值:
