写这篇文章有两个原因：一是因为我好久没看Activation Function又忘了，来复习一下；另一个是因为我想赶紧把这个风格的摄影作品用完，开启下一个系列 :)

引入激活函数的目的：加入非线性因素的，解决线性模型所不能解决的问题。通过最优化损失函数的做法，我们能够学习到不断学习靠近能够正确分类的曲线。

1 sigmoid 函数

sigmoid 函数是一个 logistic 函数：输入的每个神经元、节点或激活都会被缩放为一个介于 0 到 1 之间的值。

从图像可以看出，函数两个边缘的梯度约为0，梯度的取值范围为(0,0.25)：

线性量化

量化和去量化

量化指将一个大集合映射到一个较小值集合的过程。

可以量化的内容

• The weights: Neural network parameters
• The activations: Values that propagate through the layers of the neural network

• 技巧

  Ensembling：Train several networks independently and average their outputs Multi-crop at test time：Run classifier on multiple versions of test images and average results

定位

Need to output bx, by, bn, bw, class label (1-4)

需人工标注特征点的坐标

基于滑动窗口的目标检测算法

1. 先训练卷积网络识别物体
2. 滑动+放大窗口+再次滑动

问题：计算效率大，慢