从零开始，一步一步学习caffe的使用，期间贯穿深度学习和调参的相关知识！
Caffe中的损失函数解析
导言
在有监督的机器学习中，需要有标签数据，与此同时，也需要有对应的损失函数（Loss Function）。
在Caffe中，目前已经实现了一些损失函数，包括最常见的L2损失函数，对比损失函数，信息增益损失函数等等。在这里做一个笔记，归纳总结Caffe中用到的不同的损失函数，以及分析它们各自适合的使用场景。
欧式距离损失函数（Euclidean Loss）
对比损失函数（Contrastive loss）
铰链损失函数（Hinge Loss）
信息增益损失函数（InformationGain Loss）
多项式逻辑损失函数（Multinomial Logistic Loss）
Sigmoid 交叉熵损失函数（Sigmoid Cross Entropy Loss）
Softmax 损失函数(Softmax With Loss)
总结
欧式距离损失函数：一般适用于回归问题，特别是回归的值是实数的时候。
对比损失函数：用来训练siamese网络时候。
Hinge loss：在一对多的分类中应用，类似于SVM。
多项式逻辑损失函数：一般在一对多的分类任务中应用，直接把预测的概率分布作为输入。
sigmoid交叉熵损失函数：预测目标概率分布。
softmax 损失函数：在一对多分类中的应用。
参考
来源：Caffe中的损失函数解析 http://www.aichengxu.com/other/10039373.htm
