Tikhonov正则化在病态线性方程组求解中的应用

题目描述：考虑求解线性方程组 Ax = b，其中 A 是 m×n 矩阵（可能为病态矩阵），b 是已知向量。当 A 的条件数很大或 A 是秩亏矩阵时，直接求解可能得到数值不稳定的解。Tikhonov正则化通过引入正则化参数 λ 和正则化矩阵 L，将原问题转化为最小二乘问题 min ‖Ax - b‖² + λ²‖Lx‖²，从而获得稳定的数值解。

解题过程：

1. 问题转化
   原始问题 Ax = b 可能是不适定的。Tikhonov正则化将其转化为如下优化问题：
   minimize ‖Ax - b‖₂² + λ²‖Lx‖₂²
   其中 λ > 0 是正则化参数，控制拟合程度与解光滑性的平衡；L 通常是单位矩阵 I 或差分算子。

2. 正规方程推导
   将目标函数展开：
   J(x) = (Ax - b)ᵀ(Ax - b) + λ²(Lx)ᵀ(Lx)
   求梯度并令其为零：
   ∇J(x) = 2Aᵀ(Ax - b) + 2λ²LᵀLx = 0
   得到正规方程：(AᵀA + λ²LᵀL)x = Aᵀb

3. 标准情况（L = I）
   当 L 为单位矩阵时，正规方程简化为：
   (AᵀA + λ²I)x = Aᵀb
   这个线性方程组的系数矩阵 AᵀA + λ²I 是对称正定矩阵，条件数显著优于原始的 AᵀA。

4. 奇异值分解（SVD）分析
   对 A 进行SVD分解：A = UΣVᵀ
   其中 U、V 是正交矩阵，Σ 是奇异值矩阵。
   正则化解可表示为：
   xₗᵢₘ = V(ΣᵀΣ + λ²I)⁻¹ΣᵀUᵀb
   = V·diag(σᵢ/(σᵢ² + λ²))·Uᵀb
   可见正则化通过因子 σᵢ/(σᵢ² + λ²) 过滤了小奇异值的影响。

5. 参数 λ 的选择方法

• L曲线法：绘制 log‖Axₗ - b‖ 与 log‖xₗ‖ 的曲线，选择曲率最大点对应的 λ
• 广义交叉验证（GCV）：最小化 G(λ) = ‖(I - A(AᵀA + λ²I)⁻¹Aᵀ)b‖² / tr(I - A(AᵀA + λ²I)⁻¹Aᵀ)²
• discrepancy原理：根据噪声水平选择 λ

6. 数值实现
   通常通过求解增广系统获得数值解：
   ⎡ A ⎤⎡x⎤ = ⎡b⎤
   ⎣λL⎦ ⎣0⎦ ⎣0⎦
   可用QR分解或SVD方法稳定求解。

这个方法的本质是通过引入适当的惩罚项，在保持解拟合质量的同时抑制噪声放大，特别适用于逆问题和不适定问题的求解。