原文博客：Doi技术团队 链接地址：https://blog.doiduoyi.com/authors/1584446358138 初心：记录优秀的Doi技术团队学习经历
目录
文章目录
- 目录
- 上溢和下溢
- 基于梯度的优化方法
- 导数
- 偏导数
- 约束优化
- 参考资料
上溢和下溢
- 下溢(underflow)是一种极具毁灭性的舍入误差.当接近零的数被四舍五入为零时发生下溢
- 上溢(overflow)是一种极具破坏力的数值错误形式.当大量级的数被近似为∞infty∞或者−∞-infty−∞时发生上溢,进一步的运算通常会导致这些无限值变成非数字.
- softmax 函数(softmax function)可以对上溢和下溢进行数值稳定的一个函数,softmax函数经常用于预测与Multinoulli分布相关联的概率,定义为:
偏导数
当函数只有二维输入时，其只有一个驻点，所以这个驻点就是它的最小点或者最大点。但是通常遇到更多的是多维输入的函数，它具有多个驻点，所以它有多个极小点和极大点，如下图。所以通过上面的方法很难找到最大点或者最小点。
参考资料
- lan Goodfellow,Yoshua Bengio,Aaron Courville.深度学习(中文版).赵申剑,黎彧君,符天凡,李凯,译.北京:人民邮电出版社
- 郭游瑞,徐应祥,任阿娟,赵志琴.高等数学简明教程.上海:复旦大学出版社
