本系列为吴恩达老师《深度学习专项课程(Deep Learning Specialization)》学习与总结整理所得，对应的课程视频可以在这里查看。

这篇博客主要总结一下常用的激活函数公式及优劣势，包括sigmoid relu tanh gelu