交叉熵损失函数及其与熵和KL散度的关系

2023-10-12 09:33:04 浏览数 (1)
Cross Entropy Error Function
二分类
L = frac{1}{N}sum_iL_i = frac{1}{N}sum_i-[y_ilog(p_i)] (1-y_i)log(1-log(p_i))]
多分类
L=frac{1}{N}sum_iL_i=frac{1}{N}sum_i -sum_{c=1}^m y_{ic} log(p_{ic})
交叉熵损失函数及其与熵和KL散度的关系

最小化交叉熵等价于最小化KL散度等价于最大化对数似然估计。

error function sum 函数

0 人点赞