深度学习之优化详解：batch normalization

认识上图这些人吗？这些人把自己叫做“The Myth Busters”，为什么？在他们的启发下，我们才会在Paperspace做类似的事情。我们要解决是Batch Normalization（BN）是否确实解决了Internal Covariate Shift的问题。虽然Batch Normalization已经存在了几年，并且已经成为深度神经网络的主要内容，但它仍然是深度学习中最容易被误解的概念之一。

Batch Normalization真的解决了Internal Covariate Shift问题了吗？它是用来做什么的？你所学的深度学习是真的吗？我们来看看吧！

在开始之前

我们曾经讨论过：

1、如何利用随机梯度下降来解决深度学习中局部极小值和鞍点的问题。

2、Momentum（动量）和Adam（自适应矩估计）等优化算法如何增强梯度下降以解决优化曲面中的曲率问题。

3、如何使用不同的激活函数来解决梯度消失问题。

为了有效地学习神经网络，神经网络的每一层分布都应该：均值为0、始终保持相同的分布；第二个条件意味着通过批梯度下降输入到网路层的数据分布不应该变化太多，并且随着训练的进行它应该保持不变，而不是每一层的分布都在发生变化。

Internal Covariate Shift

 Batch Normalization：通过减少Internal Covariate Shift来加快深度网络训练，其前提是解决一个称为Internal Covariate Shift的问题。

就像我们现在所称的那样，Internal Covariate Shift是指在训练过程中，隐层的输入分布老是变来变去，Internal指的是深层网络的隐层，是发生在网络内部的事情，Covariate指的是输入分布被变化的权重参数化，Shift指分布正在发生变化。

所以，让我们试着观察这件事情怎样发生的。再次，尽可能想象一下最简单的神经网络之一：线性堆叠的神经元，这样你也可以通过替换神经元网络层来扩展类比。

假设我们正在优化损失函数L,神经元d权重的更新规则是：

我们可以看到权重d的梯度取决于c的输出，对于神经网络中的任何层也是如此。神经元的权重梯度取决于它的输入或者下一层的输出。