蒙特卡洛积分法的方差缩减技术——重要性采样
字数 2244 2025-10-29 21:04:18

蒙特卡洛积分法的方差缩减技术——重要性采样

题目描述
计算定积分 \(I = \int_a^b f(x) \, dx\)，其中 \(f(x)\) 在区间 \([a, b]\) 上可能在某些区域变化剧烈或具有尖峰。若直接使用均匀采样的蒙特卡洛方法，方差较大，收敛速度慢。要求通过重要性采样（Importance Sampling） 优化抽样分布，降低方差，提高计算效率。

解题过程

  1. 问题分析
    • 普通蒙特卡洛积分：在 \([a, b]\) 上均匀生成 \(N\) 个样本点 \(x_i\)，估计积分值为

\[ I \approx \frac{b-a}{N} \sum_{i=1}^N f(x_i). \]

  • 方差为 \(\text{Var} = \frac{(b-a)^2}{N} \text{Var}(f)\)，若 \(f(x)\) 在某些区域值很大（如尖峰），均匀采样会浪费大量样本在低贡献区域，导致方差高。
  1. 重要性采样的核心思想
    • 引入一个概率密度函数（PDF） \(p(x) > 0\)（满足 \(\int_a^b p(x) \, dx = 1\)），将积分改写为：

\[ I = \int_a^b \frac{f(x)}{p(x)} p(x) \, dx = \mathbb{E}_{p(x)}\left[ \frac{f(X)}{p(X)} \right]. \]

  • 从 \(p(x)\) 中抽样 \(x_i\)，估计值变为：

\[ \hat{I} = \frac{1}{N} \sum_{i=1}^N \frac{f(x_i)}{p(x_i)}. \]

  • 目标是选择 \(p(x)\)，使 \(\frac{f(x)}{p(x)}\) 尽可能平稳，从而降低方差。

  1. 最优分布的选择

    • 理论上的最优分布为 \(p^*(x) = \frac{|f(x)|}{\int_a^b |f(t)| \, dt}\)，此时方差为零。但需已知 \(\int |f|\)，实际不可行。
    • 实用策略：根据 \(f(x)\) 的形态选择近似分布，例如：
      • 若 \(f(x)\) 有尖峰，用尖峰类似的分布（如高斯分布）匹配；
      • 若 \(f(x)\) 变化剧烈，使其 \(p(x) \propto |f(x)|\) 的近似。

  2. 具体步骤
    步骤1：分析 \(f(x)\) 的特征

    • 确定 \(f(x)\) 的高值区域、振荡部分或奇异点。例如，若 \(f(x) = e^{-x^2}\) 在 \(x=0\) 处有尖峰，可选用高斯分布 \(p(x) = \frac{1}{\sqrt{2\pi}\sigma} e^{-x^2/(2\sigma^2)}\) 作为抽样分布。

    步骤2：构造合适的 \(p(x)\)

    • 确保 \(p(x)\) 在 \([a, b]\) 上非零，且易于抽样。例如：
      • 若 \(f(x)\) 在 \([a, b]\) 上单调，可用指数分布或幂律分布；
      • 若 \(f(x)\) 有周期性，可调整 \(p(x)\) 的浓度。

    步骤3：从 \(p(x)\) 抽样并计算

    • 生成服从 \(p(x)\) 的随机数 \(x_i\)（通过逆变换法或拒绝采样）。
    • 计算估计值：

\[ \hat{I} = \frac{1}{N} \sum_{i=1}^N \frac{f(x_i)}{p(x_i)}. \]

步骤4：方差估计

  • 方差近似为：

\[ \text{Var}(\hat{I}) \approx \frac{1}{N} \left( \frac{1}{N} \sum_{i=1}^N \frac{f(x_i)^2}{p(x_i)^2} - \hat{I}^2 \right). \]

  1. 实例演示
    计算 \(I = \int_0^1 e^{x} \, dx\)，真实值 \(e - 1 \approx 1.71828\)。

    • 均匀采样：\(p(x) = 1\)，估计值 \(\hat{I} = \frac{1}{N} \sum e^{x_i}\)，方差较大。
    • 重要性采样：选 \(p(x) = \lambda e^{\lambda x} / (e^{\lambda} - 1)\)（截断指数分布），调整 \(\lambda\) 使 \(f/p\) 平稳。
      通过试验，取 \(\lambda = 1.5\)：
      • 抽样 \(x_i = \frac{1}{\lambda} \ln\left(1 + u_i (e^{\lambda} - 1)\right)\)（\(u_i \sim U(0,1)\)）；
      • 计算 \(\hat{I} = \frac{1}{N} \sum \frac{e^{x_i}}{p(x_i)} = \frac{e^\lambda - 1}{\lambda N} \sum e^{(1-\lambda)x_i}\)。
        此时 \(f/p\) 的波动减小，方差显著降低。

  2. 关键要点

    • 重要性采样的效果取决于 \(p(x)\) 与 \(f(x)\) 的匹配程度；
    • 需平衡 \(p(x)\) 的准确性与抽样难度；
    • 对于高维积分，重要性采样仍是有效的方差缩减手段。
蒙特卡洛积分法的方差缩减技术——重要性采样 题目描述 计算定积分 \( I = \int_ a^b f(x) \, dx \)，其中 \( f(x) \) 在区间 \([ a, b]\) 上可能在某些区域变化剧烈或具有尖峰。若直接使用均匀采样的蒙特卡洛方法，方差较大，收敛速度慢。要求通过 重要性采样（Importance Sampling） 优化抽样分布，降低方差，提高计算效率。 解题过程 问题分析 普通蒙特卡洛积分：在 \([ a, b]\) 上均匀生成 \( N \) 个样本点 \( x_ i \)，估计积分值为 \[ I \approx \frac{b-a}{N} \sum_ {i=1}^N f(x_ i). \] 方差为 \( \text{Var} = \frac{(b-a)^2}{N} \text{Var}(f) \)，若 \( f(x) \) 在某些区域值很大（如尖峰），均匀采样会浪费大量样本在低贡献区域，导致方差高。 重要性采样的核心思想 引入一个 概率密度函数（PDF） \( p(x) > 0 \)（满足 \( \int_ a^b p(x) \, dx = 1 \)），将积分改写为： \[ I = \int_ a^b \frac{f(x)}{p(x)} p(x) \, dx = \mathbb{E}_ {p(x)}\left[ \frac{f(X)}{p(X)} \right ]. \] 从 \( p(x) \) 中抽样 \( x_ i \)，估计值变为： \[ \hat{I} = \frac{1}{N} \sum_ {i=1}^N \frac{f(x_ i)}{p(x_ i)}. \] 目标是选择 \( p(x) \)，使 \( \frac{f(x)}{p(x)} \) 尽可能平稳，从而降低方差。 最优分布的选择 理论上的最优分布为 \( p^* (x) = \frac{|f(x)|}{\int_ a^b |f(t)| \, dt} \)，此时方差为零。但需已知 \( \int |f| \)，实际不可行。 实用策略：根据 \( f(x) \) 的形态选择近似分布，例如： 若 \( f(x) \) 有尖峰，用尖峰类似的分布（如高斯分布）匹配； 若 \( f(x) \) 变化剧烈，使其 \( p(x) \propto |f(x)| \) 的近似。 具体步骤 步骤1：分析 \( f(x) \) 的特征 确定 \( f(x) \) 的高值区域、振荡部分或奇异点。例如，若 \( f(x) = e^{-x^2} \) 在 \( x=0 \) 处有尖峰，可选用高斯分布 \( p(x) = \frac{1}{\sqrt{2\pi}\sigma} e^{-x^2/(2\sigma^2)} \) 作为抽样分布。 步骤2：构造合适的 \( p(x) \) 确保 \( p(x) \) 在 \([ a, b ]\) 上非零，且易于抽样。例如： 若 \( f(x) \) 在 \([ a, b ]\) 上单调，可用指数分布或幂律分布； 若 \( f(x) \) 有周期性，可调整 \( p(x) \) 的浓度。 步骤3：从 \( p(x) \) 抽样并计算 生成服从 \( p(x) \) 的随机数 \( x_ i \)（通过逆变换法或拒绝采样）。 计算估计值： \[ \hat{I} = \frac{1}{N} \sum_ {i=1}^N \frac{f(x_ i)}{p(x_ i)}. \] 步骤4：方差估计 方差近似为： \[ \text{Var}(\hat{I}) \approx \frac{1}{N} \left( \frac{1}{N} \sum_ {i=1}^N \frac{f(x_ i)^2}{p(x_ i)^2} - \hat{I}^2 \right). \] 实例演示 计算 \( I = \int_ 0^1 e^{x} \, dx \)，真实值 \( e - 1 \approx 1.71828 \)。 均匀采样 ：\( p(x) = 1 \)，估计值 \( \hat{I} = \frac{1}{N} \sum e^{x_ i} \)，方差较大。 重要性采样 ：选 \( p(x) = \lambda e^{\lambda x} / (e^{\lambda} - 1) \)（截断指数分布），调整 \( \lambda \) 使 \( f/p \) 平稳。 通过试验，取 \( \lambda = 1.5 \)： 抽样 \( x_ i = \frac{1}{\lambda} \ln\left(1 + u_ i (e^{\lambda} - 1)\right) \)（\( u_ i \sim U(0,1) \)）； 计算 \( \hat{I} = \frac{1}{N} \sum \frac{e^{x_ i}}{p(x_ i)} = \frac{e^\lambda - 1}{\lambda N} \sum e^{(1-\lambda)x_ i} \)。 此时 \( f/p \) 的波动减小，方差显著降低。 关键要点 重要性采样的效果取决于 \( p(x) \) 与 \( f(x) \) 的匹配程度； 需平衡 \( p(x) \) 的准确性与抽样难度； 对于高维积分，重要性采样仍是有效的方差缩减手段。