其中 $ (1_n)_{ij} = \frac{1}{n} $。

核主成分分析（Kernel PCA）的核技巧与特征空间降维过程 题目描述 核主成分分析（Kernel PCA）是主成分分析（PCA）的非线性扩展，通过核技巧将数据映射到高维特征空间，并在该空间中进行线性PCA，从而实现对非线性数据的降维。本题目要求理解其数学原理，并掌握从数据映射到特征值分解的完整计算过程。 解题过程 问题背景与目标 传统PCA通过线性变换找到数据方差最大的方向，但无法处理非线性结构（如螺旋分布）。 目标：通过核函数隐式映射数据到高维空间，并在该空间中执行PCA，保留非线性特征。 核技巧与特征空间映射 设原始数据矩阵 \( X = [ x_ 1, x_ 2, ..., x_ n]^T \in \mathbb{R}^{n \times d} \)，通过非线性映射 \( \phi \) 投影到特征空间：\( \phi(x_ i) \in \mathbb{R}^D \)（通常 \( D \gg d \)）。 核函数 \( k(x_ i, x_ j) = \langle \phi(x_ i), \phi(x_ j) \rangle \) 避免显式计算 \( \phi \)，常用核包括高斯核 \( k(x_ i, x_ j) = \exp(-\frac{\|x_ i - x_ j\|^2}{2\sigma^2}) \)。 特征空间中的协方差矩阵 假设映射后数据已中心化（\( \sum_ {i=1}^n \phi(x_ i) = 0 \)），特征空间协方差矩阵为： \[ C = \frac{1}{n} \sum_ {i=1}^n \phi(x_ i) \phi(x_ i)^T \] PCA需解特征方程 \( C v = \lambda v \)，其中 \( v \) 为特征向量，可表示为 \( v = \sum_ {i=1}^n \alpha_ i \phi(x_ i) \)（表示定理）。 核矩阵中心化 定义核矩阵 \( K \in \mathbb{R}^{n \times n} \)，其中 \( K_ {ij} = k(x_ i, x_ j) \)。 实际数据未中心化，需对 \( K \) 中心化： \[ \tilde{K} = K - 1_ n K - K 1_ n + 1_ n K 1_ n \] 其中 \( (1_ n)_ {ij} = \frac{1}{n} \)。 特征值分解与投影计算 解特征方程 \( \tilde{K} \alpha = n \lambda \alpha \)，得到特征值 \( \lambda_ 1 \geq \lambda_ 2 \geq \cdots \geq \lambda_ n \) 和特征向量 \( \alpha_ 1, \alpha_ 2, ..., \alpha_ n \)。 将特征向量归一化：\( \alpha_ k \leftarrow \frac{\alpha_ k}{\sqrt{\lambda_ k}} \)。 数据在特征空间第 \( k \) 主成分的投影为： \[ \text{PC} k(i) = \sum {j=1}^n \alpha_ {k,j} \tilde{K}(x_ j, x_ i) \] 算法步骤总结 步骤1：计算核矩阵 \( K \)。 步骤2：中心化核矩阵得 \( \tilde{K} \)。 步骤3：对 \( \tilde{K} \) 进行特征值分解，取前 \( m \) 个最大特征值对应特征向量。 步骤4：归一化特征向量并计算投影。 关键点 核技巧通过内积避免显式高维计算，复杂度取决于样本数 \( n \) 而非特征维数 \( D \)。 中心化核矩阵等价于特征空间中的数据中心化，确保PCA有效性。