高斯核主成分分析（Kernel PCA）的核技巧与特征空间降维过程
字数 1453 2025-11-21 15:30:34
高斯核主成分分析（Kernel PCA）的核技巧与特征空间降维过程
题目描述：
高斯核主成分分析（Kernel PCA）是一种非线性降维方法，它通过核技巧将原始数据映射到高维特征空间，并在该空间中执行标准PCA。我们将重点讨论高斯核（RBF核）的运用，并详细推导从核矩阵构建到降维输出的完整计算流程。
解题过程：
-
问题定义与核函数选择
- 给定数据集 \(X = \{x_1, x_2, ..., x_n\} \in \mathbb{R}^d\)，目标是将数据降至 \(k\) 维（\(k < d\)）。
- 选择高斯核函数：
\(k(x_i, x_j) = \exp\left(-\frac{\|x_i - x_j\|^2}{2\sigma^2}\right)\)
其中 \(\sigma\) 控制核函数的宽度，决定特征空间的复杂度。
-
中心化核矩阵的构建
- 计算核矩阵 \(K \in \mathbb{R}^{n \times n}\)，其中 \(K_{ij} = k(x_i, x_j)\)。
- 为确保特征空间中的数据中心化，需对核矩阵进行修正：
\(\tilde{K} = K - 1_n K - K 1_n + 1_n K 1_n\)
其中 \((1_n)_{ij} = \frac{1}{n}\)。此步骤等价于在特征空间中减去均值向量。
-
特征分解与投影向量
- 对中心化核矩阵进行特征分解：
\(\tilde{K} \alpha_i = \lambda_i \alpha_i\)
其中 \(\lambda_i\) 为特征值，\(\alpha_i\) 为特征向量。 - 保留前 \(k\) 个最大特征值对应的特征向量 \(\alpha^{(1)}, ..., \alpha^{(k)}\)，并归一化：
\(\alpha_i \leftarrow \alpha_i / \sqrt{\lambda_i}\)
此归一化确保特征空间中的投影向量具有单位长度。
- 对中心化核矩阵进行特征分解：
-
新数据的降维投影
- 对于新样本 \(x\)，其第 \(j\) 维投影为：
\(z_j(x) = \sum_{i=1}^n \alpha_i^{(j)} \tilde{k}(x, x_i)\)
其中中心化核函数 \(\tilde{k}(x, x_i)\) 需通过核矩阵中心化参数计算：
\(\tilde{k}(x, x_i) = k(x, x_i) - \frac{1}{n}\sum_{m=1}^n k(x, x_m) - \frac{1}{n}\sum_{l=1}^n k(x_l, x_i) + \frac{1}{n^2}\sum_{l,m=1}^n k(x_l, x_m)\)
- 对于新样本 \(x\)，其第 \(j\) 维投影为：
-
高斯核的特性与参数影响
- 高斯核的带宽参数 \(\sigma\) 控制非线性程度：
- 较小 \(\sigma\) 值产生局部性强的核，可能捕捉噪声
- 较大 \(\sigma\) 值使核接近线性函数，失去非线性能力
- 投影结果保留了原始数据在特征空间中的主要方差方向，实现了非线性结构保持的降维。
- 高斯核的带宽参数 \(\sigma\) 控制非线性程度：
关键点说明：
- 核技巧避免了显式计算高维特征映射，仅通过核函数计算内积
- 中心化步骤保证了特征空间数据的零均值条件，满足PCA前提
- 归一化特征向量确保了投影方向的单位方差特性
- 高斯核的无限维特性使其能捕捉复杂的非线性流形结构