前馈神经网络（Feedforward Neural Network）的梯度消失问题与ReLU激活函数的作用

题目描述
前馈神经网络在误差反向传播过程中，当网络层数较深时容易出现梯度消失问题，导致深层网络参数难以有效更新。本题目要求解释梯度消失问题的成因，并分析ReLU（Rectified Linear Unit）激活函数如何缓解该问题。

解题过程

1. 梯度消失问题的成因
   • 在反向传播中，梯度通过链式法则从输出层向输入层逐层传播。以三层网络为例，损失函数对第一层权重 \(W_1\) 的梯度为：

\[ \frac{\partial L}{\partial W_1} = \frac{\partial L}{\partial a_3} \cdot \frac{\partial a_3}{\partial z_3} \cdot \frac{\partial z_3}{\partial a_2} \cdot \frac{\partial a_2}{\partial z_2} \cdot \frac{\partial z_2}{\partial a_1} \cdot \frac{\partial a_1}{\partial z_1} \cdot \frac{\partial z_1}{\partial W_1} \]

 其中 $ z_l $ 为第 $ l $ 层线性输出，$ a_l $ 为激活函数输出。  

• 若使用Sigmoid激活函数 \(\sigma(z) = \frac{1}{1+e^{-z}}\)，其导数为 \(\sigma'(z) = \sigma(z)(1-\sigma(z))\)，最大值仅为0.25。当层间梯度包含多个Sigmoid导数连乘时，梯度值可能以指数速度衰减（例如 \(0.25^n\)），导致深层梯度趋近于零。

2. ReLU激活函数的定义与特性
   • ReLU函数定义为 \(f(z) = \max(0, z)\)，其导数为：

\[ f'(z) = \begin{cases} 1 & \text{if } z > 0 \\ 0 & \text{if } z \leq 0 \end{cases} \]

• 当输入 \(z > 0\) 时，ReLU的导数为常数1，避免了Sigmoid的梯度衰减问题。在反向传播中，梯度经过ReLU层时仅会原样传递（若神经元激活）或截断（若未激活），不会因连乘而指数级缩小。

3. ReLU如何缓解梯度消失
   • 在反向传播路径中，若所有隐藏层均使用ReLU且神经元处于激活状态（\(z>0\)），梯度可无损传递至浅层。例如对第 \(l\) 层权重梯度：

\[ \frac{\partial L}{\partial W_l} = \frac{\partial L}{\partial a_L} \cdot \prod_{k=l}^{L-1} \left( \frac{\partial a_{k+1}}{\partial z_{k+1}} \cdot \frac{\partial z_{k+1}}{\partial a_k} \right) \cdot \frac{\partial a_l}{\partial z_l} \cdot \frac{\partial z_l}{\partial W_l} \]

 其中 $ \frac{\partial a_{k+1}}{\partial z_{k+1}} $ 在ReLU激活时为1（若 $ z_{k+1}>0 $），避免了梯度衰减。  

• 即使部分神经元未激活（梯度为0），剩余激活的神经元仍可传递梯度，保障部分参数更新。

4. ReLU的局限性及改进
   • 神经元死亡问题：若某神经元输出恒为0（例如因较大负偏置），其梯度始终为0，参数无法更新。
   • 改进方案：
     • Leaky ReLU：在 \(z \leq 0\) 时赋予微小斜率（如0.01），避免梯度完全消失。
     • Parametric ReLU (PReLU)：将负区斜率作为可学习参数，自适应调整。

总结
ReLU通过将正区梯度固定为1，有效抑制了梯度消失问题，使深层网络训练成为可能。但其负区截断特性可能引发神经元死亡，后续衍生变体通过调整负区行为进一步优化了训练稳定性。