优化器的作用是什么？例举一下神经网络中常用的优化器？
优化器作用：求出让损失函数最小化的参数。
常用优化器：
1、Adam
关联所有样本的梯度，便于求解全局最优解，始终含有前面梯度的信息，把前面的梯度传到后面
优点：自动调节学习率， 速度快， 梯度传导
2、梯度下降SGD
批量梯度下降：用所有的样本更新参数，计算量大
随机梯度下降：每看一个数据更新参数，更准确，但是计算量大
小批量随机下降：按批来更新参数，前两者的折中
缺点：（1）训练速度慢（2）容易陷入局部最优
为什么两个3x3卷积等于一个5x5卷积呢？
因为他们感受野相同。
这样做有什么好处呢？
1、增加网络层数，层之间可以加入激活函数，增加了网络的非线性表达能力。
2、参数更少，2个3x3的卷积核有18个参数，1个5x5的卷积核有25个参数。
什么是感受野，感受野如何计算？
感受野（Receptive Field）的定义：卷积神经网络每一层输出的特征图（feature map）上的像素点映射回输入图像上的区域大小。通俗点的解释是，特征图上一点，相对于原图的大小，也是卷积神经网络特征所能看到输入图像的区域。