反向传播：神经网络训练的基石

引言

计算图

1. 计算图：首先，将计算过程表示为一个计算图。计算图是一系列计算步骤的图形表示，其中的节点表示变量，边表示操作。
2. 正向传播：在正向传播阶段，计算图从输入到输出执行计算，计算图中每步的结果。
3. 计算导数：在前向模式微分中，同时计算每个操作的局部导数（或雅可比矩阵），并将这些导数沿着计算图正向传播，直到达到输出。
4. 累积导数：在传播过程中，每个节点的导数会累积前一步的导数和当前操作的局部导数。

• 效率：对于每个输入变量，前向模式微分可以一次性计算出输出相对于该输入的导数。这对于少量输入变量的情况非常高效。
• 适用性：当模型的输入参数数量远小于输出维度时，前向模式微分通常比反向模式微分更高效。

• 神经网络训练：在神经网络中，前向模式微分可以用于计算网络输出相对于每个输入的梯度，这在某些特定的应用场景中非常有用，比如当需要对输入数据进行调整以优化输出时。
• 符号计算：在符号计算库中，前向模式微分被用来计算表达式的梯度，这在数学和物理问题的解析解中很常见。

反向模式微分

1. 计算图：首先，将计算过程表示为一个计算图。计算图是一系列计算步骤的图形表示，其中的节点表示变量，边表示操作。
2. 正向传播：在正向传播阶段，计算图从输入到输出执行计算，计算图中每步的结果。
3. 反向传播：在反向模式微分中，我们从输出开始，反向计算输出相对于每个参数的导数。这个过程遵循链式法则，每一步的导数计算依赖于前一步的结果。
4. 累积梯度：在反向传播过程中，每个节点的梯度会累积前一步的梯度和当前操作的局部导数。

• 效率：反向模式微分特别适用于神经网络，因为神经网络通常有大量的参数和相对较少的输出。这种方法可以一次性计算所有参数的梯度，从而减少了计算资源的消耗。
• 适用性：当模型的参数数量远大于输出维度时，反向模式微分比前向模式微分更高效。

• 神经网络训练：在神经网络中，反向模式微分用于计算网络输出相对于每个参数的梯度，这对于训练过程中的参数更新至关重要。
• 梯度计算：在机器学习中，反向模式微分是计算梯度的基本工具，用于优化模型参数以最小化损失函数。

效率对比

• 前向模式微分：如果函数有 n 个输入和 m 个输出，前向模式微分需要 O(n×m)O(n \times m)O(n×m) 的计算量来计算雅可比矩阵。
• 反向模式微分：如果函数有 n 个输入和 m 个输出，反向模式微分只需要 O(n+m)O(n + m)O(n+m) 的计算量来计算梯度向量。

参考

• microsoft/ai-edu/
• colah.github.io/posts/2015-…