深度学习中的优化器之SGD with Gradient Noise Injection（带梯度噪声注入的随机梯度下降）算法原理与实现细节

题目描述
在深度学习优化过程中，SGD with Gradient Noise Injection 是一种通过向梯度注入可控噪声来提升模型泛化能力和逃离局部极小值的优化技术。该方法在梯度更新时引入高斯噪声，通过噪声的随机性帮助模型探索更优的参数空间。需要深入理解其噪声注入机制、理论依据及实现细节。

解题过程

1. 算法核心思想

• 问题背景：传统SGD在优化非凸损失函数时易陷入局部极小值，且可能在平坦区域停滞。
• 解决方案：在每次梯度计算后，向梯度向量添加均值为零的高斯噪声，通过噪声扰动打破对称性，增强参数空间的探索能力。
• 理论依据：噪声的引入等价于在损失函数中隐式加入正则化项，或视为对参数空间的随机采样，有助于模型逃离尖锐的局部极小值。

2. 噪声注入机制

• 噪声分布：使用均值为0、方差随时间衰减的高斯噪声 \(\epsilon \sim \mathcal{N}(0, \sigma_t^2)\)，其中 \(\sigma_t^2 = \frac{\eta}{(1+t)^\gamma}\)，\(\eta\) 为初始噪声强度，\(\gamma\) 为衰减系数，\(t\) 为训练步数。
• 衰减设计：噪声方差随训练步数增加而减小，初期鼓励探索，后期逐步稳定收敛。
• 梯度更新公式：

\[ g_t' = g_t + \epsilon, \quad \theta_{t+1} = \theta_t - \alpha g_t' \]

其中 \(g_t\) 为原始梯度，\(\alpha\) 为学习率。

3. 实现步骤详解

• 步骤1：计算当前批次数据的损失函数梯度 \(g_t = \nabla_\theta L(\theta_t)\)。
• 步骤2：生成高斯噪声 \(\epsilon \sim \mathcal{N}(0, \sigma_t^2 I)\)，其中 \(I\) 为单位矩阵，维度与梯度一致。
• 步骤3：注入噪声得到扰动梯度 \(g_t' = g_t + \epsilon\)。
• 步骤4：执行参数更新 \(\theta_{t+1} = \theta_t - \alpha g_t'\)。
• 关键参数设置：
  • 初始噪声强度 \(\eta\)：通常取 \(0.01 \sim 0.1\)，需根据任务调整。
  • 衰减系数 \(\gamma\)：常设为 \(0.55\)，控制噪声衰减速度。
  • 学习率 \(\alpha\)：与标准SGD设置一致，如 \(0.01\)。

4. 代码实现示例（PyTorch）

import torch
import torch.nn as nn

class SGDNoiseInjection(torch.optim.Optimizer):
    def __init__(self, params, lr=0.01, eta=0.1, gamma=0.55):
        defaults = dict(lr=lr, eta=eta, gamma=gamma)
        super().__init__(params, defaults)
        self.t = 0  # 训练步数计数器

    def step(self):
        for group in self.param_groups:
            for p in group['params']:
                if p.grad is None:
                    continue
                # 计算当前噪声标准差
                sigma = group['eta'] / ((1 + self.t) ** group['gamma'])
                # 生成高斯噪声
                noise = torch.randn_like(p.grad) * sigma
                # 注入噪声并更新参数
                p.data.add_(p.grad + noise, alpha=-group['lr'])
        self.t += 1  # 更新步数

5. 算法优势与注意事项

• 优势：
  • 提升模型泛化能力，避免过拟合。
  • 帮助逃离局部极小值，找到更平坦的最优解。
• 注意事项：
  • 噪声强度需谨慎设置，过大会导致训练不稳定。
  • 衰减系数 \(\gamma\) 影响收敛速度，需通过实验调整。
  • 适用于非凸优化问题，但对凸问题可能引入不必要的波动。

总结
SGD with Gradient Noise Injection 通过动态衰减的高斯噪声增强优化过程的探索性，在深度学习训练中平衡探索与利用，是一种简单而有效的优化改进方法。