“交叉熵”反向传播推导

每天给你送来NLP技术干货！

作者 | godweiyang

出品 | 公众号：算法码上来（ID：GodNLP）

- BEGIN -

交叉熵（CrossEntropy）是常见的损失函数，本文详细推导一下它的梯度，面试大厂或者工程实践中都可能会用到。

前向传播

假设分类任务类别数是，隐层输出是维向量，标准的one-hot向量是，正确的类别是。那么交叉熵损失可以定义为：

其中，，是平滑参数。Softmax函数大家都很熟悉了，具体形式为：。

反向传播

对的梯度要分两种情况：

推导过程

根据求导法则有：

其中就是Softmax函数的梯度（这个推导比较简单，放在了文末）：

下面分两种情况讨论：

1. 当时：
2. 当时：

Softmax梯度

回顾Softmax函数的形式：

这里也分两种情况讨论：

1. 当时：
2. 当时：

- END -

最近文章

EMNLP 2022 和 COLING 2022，投哪个会议比较好？

一种全新易用的基于Word-Word关系的NER统一模型，刷新了14种数据集并达到新SoTA

阿里 北大 | 在梯度上做简单mask竟有如此的神奇效果

ACL'22 | 快手 中科院提出一种数据增强方法：Text Smoothing，非常简单且有效尤其在数据不足的情况下