梯度为何消失？如何避免梯度消失？

梯度消失的问题是什么？

1. 表现：

• • 在训练过程中，前几层的梯度值变得非常小，接近于零。
  • 由于梯度极小，这些层的权重更新几乎停止，导致模型无法有效学习和调整。

1. 产生原因：

• • 链式法则：在反向传播过程中，根据链式法则，梯度逐层相乘。如果层数很多，那么梯度会不断被小于1的值缩小，导致逐层衰减。
  • 激活函数：某些非线性激活函数（例如Sigmoid、Tanh），在它们的激活值接近于0或1时，其导数也非常小。这会导致前几层的梯度进一步缩小。
  • 参数初始化：不合理的权重初始化导致前向传播时输出分布不合理，从而加剧梯度消失问题。

如何避免梯度消失？

1. 选择合适的激活函数：

• • ReLU（Rectified Linear Unit）及其变种：ReLU 激活函数的导数在正区间为1，不容易导致梯度消失。变种包括Leaky ReLU、Parametric ReLU (PReLU)、SELU等。

• 归一化技术：
  • 优点：在提高模型收敛速度的同时，也在一定程度上缓解梯度消失问题。
• 残差网络（Residual Networks, ResNets）：
• 通过引入残差连接（shortcut connection），使梯度在反向传播时可以直接跳过某些层，从而缓解梯度消失的现象。

1. 梯度裁剪（Gradient Clipping）：

• • 针对LSTM等递归神经网络常用的一种技巧，通过在反向传播过程中对梯度进行裁剪，避免梯度过小或过大。
    • 操作：当梯度的 L2 范数大于预定阈值时，对梯度进行缩放，使其范数不超过该阈值。

1. 使用合适的网络结构：

• • LSTM和GRU：在处理长序列任务时，RNN通常会遇到梯度消失或爆炸问题。LSTM和GRU通过引入门机制，能够有效缓解和应对这一问题。

示例解释

ReLU激活函数：

总结