写这篇文章有两个原因：一是因为我好久没看Activation Function又忘了，来复习一下；另一个是因为我想赶紧把这个风格的摄影作品用完，开启下一个系列 :)
引入激活函数的目的：加入非线性因素的，解决线性模型所不能解决的问题。通过最优化损失函数的做法，我们能够学习到不断学习靠近能够正确分类的曲线。
1 sigmoid 函数
sigmoid 函数是一个 logistic 函数：输入的每个神经元、节点或激活都会被缩放为一个介于 0 到 1 之间的值。
从图像可以看出，函数两个边缘的梯度约为0，梯度的取值范围为(0,0.25)：