高斯混合模型（GMM）的参数初始化与EM算法迭代过程

题目描述：高斯混合模型（Gaussian Mixture Model, GMM）是一种常用的聚类算法，它假设数据是由多个高斯分布组合生成的。本题要求详细讲解GMM的参数初始化方法，以及如何使用期望最大化（EM）算法进行参数估计的完整迭代过程。

解题过程：

1. 问题建模

   • 假设观测数据由K个高斯分布混合生成，每个高斯分布称为一个"成分"
   • 模型参数包括：每个成分的权重πₖ（∑πₖ=1）、均值μₖ、协方差Σₖ
   • 目标：基于观测数据X = {x₁, x₂, ..., xₙ}估计这些参数

2. 参数初始化（关键步骤）

   • 权重初始化：通常均匀初始化，πₖ = 1/K
   • 均值初始化：常用K-means聚类中心作为初始均值，或随机选择K个数据点
   • 协方差初始化：
     • 方法1：使用全局数据的协方差矩阵作为所有成分的初始值
     • 方法2：为每个成分分配单位矩阵或对角矩阵
   • 响应度矩阵初始化：γ(zₙₖ)表示数据点n属于成分k的概率，初始可设均匀分布

3. EM算法E步（期望步）

   • 计算每个数据点对每个成分的"责任值"（后验概率）：
     γ(zₙₖ) = πₖN(xₙ|μₖ,Σₖ) / ∑ⱼπⱼN(xₙ|μⱼ,Σⱼ)
   • 其中N(xₙ|μₖ,Σₖ)是多变量高斯分布的概率密度函数
   • 实际计算时需要对数空间操作避免数值下溢

4. EM算法M步（最大化步）

   • 使用E步计算的责任值更新参数：
   • 更新权重：πₖ = (∑ₙγ(zₙₖ)) / N
   • 更新均值：μₖ = (∑ₙγ(zₙₖ)xₙ) / (∑ₙγ(zₙₖ))
   • 更新协方差：Σₖ = (∑ₙγ(zₙₖ)(xₙ-μₖ)(xₙ-μₖ)ᵀ) / (∑ₙγ(zₙₖ))

5. 收敛判断

   • 计算对数似然函数：log p(X|θ) = ∑ₙlog(∑ₖπₖN(xₙ|μₖ,Σₖ))
   • 检查对数似然的变化量是否小于预设阈值（如1e-6）
   • 或检查参数变化幅度是否足够小

6. 算法终止

   • 达到最大迭代次数，或
   • 似然函数收敛到稳定值

每个迭代周期都保证似然函数单调增加，最终收敛到局部最优解。不同的初始化可能导致不同的收敛结果，因此实践中常多次随机初始化选择最佳结果。