蒙特卡洛积分法在高维积分中的方差缩减技术

题目描述
计算高维积分 \(I = \int_{\Omega} f(\mathbf{x}) \, d\mathbf{x}\)，其中 \(\Omega \subset \mathbb{R}^d\) 是一个 \(d\) 维区域，\(f\) 是定义在 \(\Omega\) 上的函数。当 \(d\) 较大时（例如 \(d \geq 4\)），传统数值积分方法（如高斯求积）因计算量随维度指数增长而失效。蒙特卡洛积分法通过随机采样逼近积分值，但其基础形式的方差较大，收敛速度慢（\(O(1/\sqrt{N})\)）。本题要求通过重要性采样和控制变量法两种方差缩减技术，优化蒙特卡洛积分的效率。

解题过程

1. 基础蒙特卡洛积分法
   • 思想：将积分转化为随机变量的期望。设 \(\mathbf{x}\) 在 \(\Omega\) 上均匀分布，概率密度函数为 \(p(\mathbf{x}) = 1/|\Omega|\)（其中 \(|\Omega|\) 是区域体积），则：

\[ I = \int_{\Omega} f(\mathbf{x}) \, d\mathbf{x} = |\Omega| \cdot \mathbb{E}[f(\mathbf{x})] \approx |\Omega| \cdot \frac{1}{N} \sum_{i=1}^N f(\mathbf{x}_i). \]

• 问题：若 \(f\) 在部分区域变化剧烈，均匀采样会导致估计值方差较大，需大量样本才能收敛。

2. 重要性采样
   • 目标：通过调整采样分布，使样本更多出现在 \(f\) 值较大的区域，从而降低方差。
   • 步骤：
     1. 选择一个概率密度函数 \(q(\mathbf{x})\)，满足 \(q(\mathbf{x}) > 0\)（当 \(f(\mathbf{x}) \neq 0\)），且 \(\int_{\Omega} q(\mathbf{x}) \, d\mathbf{x} = 1\)。
     2. 将积分重写为：

\[ I = \int_{\Omega} \frac{f(\mathbf{x})}{q(\mathbf{x})} q(\mathbf{x}) \, d\mathbf{x} = \mathbb{E}_q\left[ \frac{f(\mathbf{x})}{q(\mathbf{x})} \right], \]

    其中 $\mathbb{E}_q$ 表示基于分布 $q$ 的期望。
 3. 从 $q(\mathbf{x})$ 中抽取 $N$ 个样本 $\{\mathbf{x}_i\}$，估计值为：

\[ \hat{I}_\text{IS} = \frac{1}{N} \sum_{i=1}^N \frac{f(\mathbf{x}_i)}{q(\mathbf{x}_i)}. \]

• 关键：若 \(q(\mathbf{x}) \propto |f(\mathbf{x})|\)，则方差最小。实践中常选用与 \(f\) 形状相似的分布（如指数分布、高斯分布等）。

3. 控制变量法
   • 思想：用一个已知期望的函数 \(g(\mathbf{x})\) 抵消 \(f\) 的波动，减少方差。
   • 步骤：
     1. 选择控制变量 \(g(\mathbf{x})\)，要求其积分值 \(I_g = \int_{\Omega} g(\mathbf{x}) \, d\mathbf{x}\) 已知，且 \(g\) 与 \(f\) 高度相关。
     2. 引入参数 \(c\)，构造新函数：

\[ h(\mathbf{x}) = f(\mathbf{x}) - c \left( g(\mathbf{x}) - I_g \right). \]

    注意 $\int_{\Omega} h(\mathbf{x}) \, d\mathbf{x} = I$，因为 $g(\mathbf{x}) - I_g$ 的积分为零。
 3. 优化 $c$ 以最小化方差：计算 $\text{Var}(h) = \text{Var}(f) + c^2 \text{Var}(g) - 2c \text{Cov}(f, g)$，通过求导得最优值：

\[ c^* = \frac{\text{Cov}(f, g)}{\text{Var}(g)}. \]

 4. 从均匀分布中采样，估计积分：

\[ \hat{I}_\text{CV} = \frac{1}{N} \sum_{i=1}^N h(\mathbf{x}_i) = \frac{1}{N} \sum_{i=1}^N f(\mathbf{x}_i) - c^* \left( \frac{1}{N} \sum_{i=1}^N g(\mathbf{x}_i) - I_g \right). \]

• 优点：若 \(g\) 与 \(f\) 强相关，方差显著降低。

4. 实例演示

   • 计算 \(I = \int_{[0,1]^2} e^{x+y} \, dx\,dy\)（真实值 \(\approx 2.952\)）。
     • 基础蒙特卡洛：均匀采样1000点，估计值方差较大（约 \(0.01\)）。
     • 重要性采样：选 \(q(x, y) = e^{x+y} / (e-1)^2\)（与积分核相似），方差降至 \(0.001\)。
     • 控制变量法：选 \(g(x, y) = x+y\)，其积分 \(I_g = 1\)，计算协方差后得 \(c^* \approx 1.3\)，方差降至 \(0.0005\)。

5. 总结

   • 重要性采样通过调整分布聚焦关键区域，控制变量法利用相关性抵消波动。两者可结合使用（如先采样再修正），进一步优化高维积分效率。