非线性规划中的自适应信赖域序列二次规划(Adaptive Trust Region SQP)算法进阶题
题目描述
考虑非线性规划问题:
最小化 \(f(x)\)
满足约束 \(c_i(x) = 0, i \in \mathcal{E}\) 和 \(c_i(x) \geq 0, i \in \mathcal{I}\),
其中 \(f(x)\) 和 \(c_i(x)\) 是二阶连续可微函数。设计一个自适应信赖域序列二次规划(Adaptive Trust Region SQP)算法,动态调整信赖域半径和二次规划(QP)子问题的模型,确保在非凸或约束退化情况下仍能稳定收敛。要求结合过滤器和自适应屏障处理约束,并详细说明自适应机制如何根据模型拟合度和约束违反程度调整参数。
解题过程
- 问题重构与拉格朗日函数
定义拉格朗日函数:
\[ L(x, \lambda) = f(x) - \sum_{i \in \mathcal{E} \cup \mathcal{I}} \lambda_i c_i(x) \]
其中 \(\lambda_i\) 是拉格朗日乘子。算法通过迭代求解拉格朗日函数的驻点来逼近原问题的最优解。
- 构造二次规划子问题
在当前迭代点 \(x_k\),构建如下QP子问题:
\[ \begin{aligned} \min_{d \in \mathbb{R}^n} \quad & \nabla f(x_k)^T d + \frac{1}{2} d^T B_k d \\ \text{s.t.} \quad & c_i(x_k) + \nabla c_i(x_k)^T d = 0, \quad i \in \mathcal{E} \\ & c_i(x_k) + \nabla c_i(x_k)^T d \geq 0, \quad i \in \mathcal{I} \end{aligned} \]
其中 \(B_k\) 是拉格朗日函数海森矩阵的近似(例如通过BFGS更新),\(d\) 是搜索方向。信赖域约束 \(\|d\| \leq \Delta_k\) 被隐式或显式加入以保证子问题有解。
- 自适应信赖域机制
- 实际下降量与预测下降量比:
定义实际下降量 \(\text{ared}_k = f(x_k) - f(x_k + d_k)\) 和预测下降量 \(\text{pred}_k = q_k(0) - q_k(d_k)\),其中 \(q_k(d)\) 是QP子问题的目标函数。计算比值:
- 实际下降量与预测下降量比:
\[ \rho_k = \frac{\text{ared}_k}{\text{pred}_k} \]
- 半径调整规则:
- 若 \(\rho_k < 0.25\),模型拟合差,缩小信赖域半径: \(\Delta_{k+1} = 0.5 \Delta_k\)。
- 若 \(\rho_k > 0.75\) 且 \(\|d_k\| = \Delta_k\),模型拟合好,扩大半径: \(\Delta_{k+1} = 2 \Delta_k\)。
- 否则保持半径不变。
- 自适应屏障调整:
对不等式约束引入屏障参数 \(\mu_k\),并根据约束违反程度 \(v(x) = \sum_{i \in \mathcal{E}} |c_i(x)| + \sum_{i \in \mathcal{I}} \max(0, -c_i(x))\) 动态更新 \(\mu_{k+1} = \min(\mu_k, v(x_k)^{1.5})\),以平衡可行性与最优性。
- 过滤器与接受准则
- 过滤器结构:
过滤器 \(\mathcal{F}_k\) 存储若干对 \((\theta(x_j), f(x_j))\),其中 \(\theta(x)\) 是约束违反度量。新迭代点 \(x_{k+1} = x_k + d_k\) 被接受当且仅当:
- 过滤器结构:
\[ \theta(x_{k+1}) < (1 - \gamma_\theta) \theta(x_j) \quad \text{或} \quad f(x_{k+1}) < f(x_j) - \gamma_f \theta(x_j) \quad \forall (\theta(x_j), f(x_j)) \in \mathcal{F}_k \]
其中 $ \gamma_\theta, \gamma_f \in (0, 1) $ 为参数。
- 过滤器更新:
若 \(x_{k+1}\) 被接受,移除所有被其支配的过滤器条目,并添加 \((\theta(x_{k+1}), f(x_{k+1}))\)。
- 自适应模型更新策略
- 海森矩阵近似修正:
若 \(\rho_k < 0.1\),表明二次模型不可靠,重置 \(B_k\) 为单位矩阵或采用梯度差分修正。 - 约束松弛:
若QP子问题不可行,对等式约束引入松弛变量 \(s\),求解:
- 海森矩阵近似修正:
\[ \min_{d, s} \nabla f(x_k)^T d + \frac{1}{2} d^T B_k d + \omega \|s\|^2 \quad \text{s.t.} \quad c_i(x_k) + \nabla c_i(x_k)^T d = s_i, \ i \in \mathcal{E} \]
权重 $ \omega $ 根据历史可行性误差自适应调整。
- 收敛性与迭代终止
- 一阶最优性条件:
当 \(\|\nabla_x L(x_k, \lambda_k)\| < \epsilon\) 且 \(v(x_k) < \epsilon\) 时终止,其中 \(\epsilon\) 为容忍误差。 - 全局收敛保障:
通过过滤器避免Maratos效应,自适应信赖域确保在非凸区域采用梯度下降步,屏障参数衰减至零以保证收敛到可行解。
- 一阶最优性条件:
总结
本算法通过结合自适应信赖域、过滤器与屏障参数,动态调整模型和参数,有效处理非凸性和约束退化问题。其核心优势在于根据局部模型拟合度和可行性历史,智能平衡搜索方向与约束满足,确保稳定收敛到局部最优解。