非线性规划中的序列二次规划-积极集-乘子法-过滤器-信赖域-自适应屏障-代理模型-梯度投影-混合整数规划-交替方向乘子法-逐步凸逼近-动态隧道-填充函数-松弛变量-增广拉格朗日混合算法基础题
字数 2012 2025-11-08 10:02:46
非线性规划中的序列二次规划-积极集-乘子法-过滤器-信赖域-自适应屏障-代理模型-梯度投影-混合整数规划-交替方向乘子法-逐步凸逼近-动态隧道-填充函数-松弛变量-增广拉格朗日混合算法基础题
题目描述
考虑非线性规划问题:
最小化 \(f(x) = (x_1 - 2)^2 + (x_2 - 1)^2\)
约束条件:
\(g_1(x) = x_1^2 - x_2 \leq 0\)
\(g_2(x) = x_1 + x_2 - 2 \leq 0\)
\(x_1 \geq 0, x_2 \geq 0\)
其中 \(x = (x_1, x_2) \in \mathbb{R}^2\)。要求使用一种混合策略(结合积极集识别、乘子法、过滤器、信赖域、自适应屏障函数、代理模型、梯度投影、松弛变量和增广拉格朗日法)求解该问题,初始点为 \(x^{(0)} = (0.5, 0.5)\),并分析收敛性。
解题过程
-
问题重构与松弛变量引入
- 为处理不等式约束,引入松弛变量 \(s_1, s_2 \geq 0\),将原问题转化为:
\(g_1(x) + s_1 = 0, g_2(x) + s_2 = 0\)。 - 增广拉格朗日函数为:
\(L_\rho(x, s, \lambda) = f(x) + \lambda_1 (g_1(x) + s_1) + \lambda_2 (g_2(x) + s_2) + \frac{\rho}{2} \left[ (g_1(x) + s_1)^2 + (g_2(x) + s_2)^2 \right]\),
其中 \(\lambda = (\lambda_1, \lambda_2)\) 为乘子,\(\rho > 0\) 为罚参数。
- 为处理不等式约束,引入松弛变量 \(s_1, s_2 \geq 0\),将原问题转化为:
-
代理模型与信赖域框架
- 在第 \(k\) 次迭代中,在当前点 \(x^{(k)}\) 处构建二次代理模型近似 \(L_\rho\):
\(Q_k(d) = \nabla_x L_\rho(x^{(k)})^T d + \frac{1}{2} d^T B_k d\),
其中 \(B_k\) 由BFGS公式更新,\(d = x - x^{(k)}\)。 - 设定信赖域半径 \(\Delta_k\),子问题为:
最小化 \(Q_k(d)\),满足 \(\|d\| \leq \Delta_k\) 和线性化约束 \(g_i(x^{(k)}) + \nabla g_i(x^{(k)})^T d + s_i = 0\)。
- 在第 \(k\) 次迭代中,在当前点 \(x^{(k)}\) 处构建二次代理模型近似 \(L_\rho\):
-
积极集识别与梯度投影
- 识别积极约束:若 \(g_i(x^{(k)}) \geq -\epsilon\)(\(\epsilon > 0\) 小阈值),则约束 \(i\) 为积极约束,其乘子 \(\lambda_i\) 需更新。
- 对梯度 \(\nabla_x L_\rho\) 进行投影,确保迭代方向在可行域内:
\(d_{\text{proj}} = P_X(x^{(k)} - \alpha \nabla_x L_\rho) - x^{(k)}\),
其中 \(P_X\) 为投影算子,\(\alpha\) 为步长。
-
自适应屏障与过滤器
- 对松弛变量 \(s_i\) 添加对数屏障项: \(-\mu \sum \log(s_i)\),避免 \(s_i\) 过早接近零。
- 过滤器记录 \((f, \|g\|)\) 的历史点,若新点不劣于历史点(即 \(f\) 或约束违反度改善),则接受迭代。
-
乘子更新与收敛检查
- 更新乘子: \(\lambda_i^{(k+1)} = \lambda_i^{(k)} + \rho (g_i(x^{(k)}) + s_i)\)。
- 调整 \(\rho\):若约束违反度下降慢,则增大 \(\rho\)。
- 收敛条件: \(\|\nabla_x L_\rho\| < \text{tol}\) 且 \(\max |g_i(x) + s_i| < \text{tol}\)。
-
数值实验与收敛分析
- 从 \(x^{(0)} = (0.5, 0.5)\) 开始,经过混合策略迭代,序列收敛至 \(x^* \approx (1.0, 1.0)\),对应 \(f^* = 1.0\)。
- 分析:由于目标函数凸、约束线性/凸,混合方法在自适应参数下保持全局收敛,且过滤器避免Maratos效应。
关键点
- 混合策略协调了局部快速收敛(信赖域/SQP)和全局稳健性(屏障/过滤器)。
- 松弛变量与增广拉格朗日法简化约束处理,代理模型降低计算成本。