蒙特卡洛积分法在贝叶斯推断中的后验期望估计 题目描述 在贝叶斯推断中，后验分布的期望（如后验均值）是重要统计量，但常无解析解。设参数θ的后验分布为\( p(\theta | D) \propto L(D | \theta) \pi(\theta) \)，其中\( L \)是似然函数，\( \pi \)是先验分布。目标为计算后验期望\( \mathbb{E}[ \theta | D ] = \int \theta \cdot p(\theta | D) d\theta \)。若后验形式复杂（如高维、非共轭），蒙特卡洛积分法可通过采样逼近该积分。 解题过程 问题转化 后验期望的积分可写为： \[ \mathbb{E}[ \theta | D ] = \frac{\int \theta \cdot L(D | \theta) \pi(\theta) d\theta}{\int L(D | \theta) \pi(\theta) d\theta}. \] 分母是归一化常数（边缘似然），直接计算困难。蒙特卡洛法的核心是从后验分布\( p(\theta | D) \)中抽取样本\( \{\theta_ i\} {i=1}^N \)，用样本均值近似期望： \[ \mathbb{E}[ \theta | D] \approx \frac{1}{N} \sum {i=1}^N \theta_ i. \] 采样方法选择 若后验分布有标准形式（如共轭先验），可直接采样（如高斯分布）。 对于复杂后验，需采用 马尔可夫链蒙特卡洛法 （MCMC），如Metropolis-Hastings算法或Gibbs采样，生成近似后验的样本序列。 MCMC采样示例（Metropolis-Hastings算法） 步骤1 ：初始化参数值\( \theta_ 0 \)，设定提议分布\( q(\theta' | \theta) \)（如高斯随机游走）。 步骤2 ：对每个迭代\( t \)： 从\( q(\theta' | \theta_ {t-1}) \)生成候选点\( \theta' \)。 计算接受率\( \alpha = \min\left(1, \frac{L(D | \theta') \pi(\theta')