我们观察到 $ \mathbf{x} $ 的样本，目标是找到一个可逆非线性解混函数 $ g: \mathbb{R}^n \rightarrow \mathbb{R}^n $，使得估计的源 $ \hat{\mathbf{s}} = g(\mathbf{x}) $ 的各个分量统计独立，且与真实源 $ \mathbf{s} $ 在允许一个分量重排序和可逆逐分量变换的意义下一致。

即每个 $ s_i $ 的条件分布仅依赖于 $ \mathbf{u} $，且不同 $ s_i $ 之间在给定 $ \mathbf{u} $ 时独立。辅助变量 $ \mathbf{u} $ 是观测到的（例如，在时序数据中，$ \mathbf{u} $ 可以是时间戳；在多任务数据中，$ \mathbf{u} $ 可以是任务标识）。

其中 $ q_i $ 是一个固定的“先验”密度（如标准正态），$ G_i $ 是特征函数（另一个神经网络），$ \lambda_i(\mathbf{u}; \psi_i) $ 是依赖于 $ \mathbf{u} $ 的自然参数（也由神经网络产生），$ Z_i $ 是归一化常数，$ \psi_i $ 是 $ G_i $ 和 $ \lambda_i $ 的参数。这种形式足够灵活，可以近似广泛的分布。

其中 $ J_{g_{\theta}}(\mathbf{x}) $ 是 $ g_{\theta} $ 在 $ \mathbf{x} $ 处的雅可比矩阵（行列式来自于变量变换），第一项是变换的Jacobian行列式，第二项是条件独立源的对数似然之和。

然而，直接优化这个似然是困难的，因为 $ p_i $ 中的归一化常数 $ Z_i $ 通常难以计算。为此，我们采用噪声对比估计（Noise Contrastive Estimation, NCE）的思想，将其转化为一个分类问题。

注意这里去掉了难以计算的归一化项 $ Z_i $，因为它不依赖于具体的 $ \mathbf{x} $（在对比学习中会被抵消）。

其中 $ \sigma $ 是sigmoid函数，$ p_{noise} $ 是负样本分布（通过破坏正样本构造）。通过最小化该损失，我们间接地促使 $ g_{\theta} $ 将 $ \mathbf{x} $ 映射到条件独立的 $ \hat{\mathbf{s}} $，并使得其分布符合我们设定的条件指数族形式。

非线性独立分量分析（Nonlinear ICA）的识别性理论与对比学习求解 题目描述 在经典的独立分量分析（ICA）中，我们假设观测到的数据 \( \mathbf{x} \) 由一组相互独立的潜在源 \( \mathbf{s} \) 通过一个线性混合生成，即 \( \mathbf{x} = \mathbf{A} \mathbf{s} \)。ICA的目标是在仅知观测数据 \( \mathbf{x} \) 的情况下，恢复出混合矩阵 \( \mathbf{A} \) 和源信号 \( \mathbf{s} \)。但在许多现实场景中（如信号处理、脑电图分析、因果发现等），混合关系往往是非线性的，即 \( \mathbf{x} = f(\mathbf{s}) \)，其中 \( f \) 是一个未知的可逆非线性变换。此时，问题变为非线性ICA。然而，非线性ICA存在严重的识别性问题：在没有任何额外假设下，仅凭数据独立性无法唯一确定源信号，因为对源信号做任意可逆非线性变换后，独立性可能仍然保持。本次讲解将围绕非线性ICA的识别性理论突破，以及如何通过引入辅助变量（如时间结构、类别标签等）构建对比学习框架来实现可识别的非线性源分离。 解题过程 第一步：理解非线性ICA的基本问题与识别性挑战 问题形式化 ： 假设观测数据 \( \mathbf{x} \in \mathbb{R}^n \) 由潜在独立源 \( \mathbf{s} \in \mathbb{R}^n \) 通过一个可逆非线性混合函数 \( f: \mathbb{R}^n \rightarrow \mathbb{R}^n \) 生成： \[ \mathbf{x} = f(\mathbf{s}). \] 我们观察到 \( \mathbf{x} \) 的样本，目标是找到一个可逆非线性解混函数 \( g: \mathbb{R}^n \rightarrow \mathbb{R}^n \)，使得估计的源 \( \hat{\mathbf{s}} = g(\mathbf{x}) \) 的各个分量统计独立，且与真实源 \( \mathbf{s} \) 在允许一个分量重排序和可逆逐分量变换的意义下一致。 识别性挑战 ： 在线性ICA中，识别性在允许置换和缩放的意义下是成立的。但在非线性ICA中，仅假设源分量独立是不够的。 反例说明 ：假设我们找到了一个解混函数 \( g \) 使得 \( \hat{\mathbf{s}} = g(\mathbf{x}) \) 的分量独立。考虑任意一个可逆逐分量非线性变换 \( h(\hat{\mathbf{s}}) = (h_ 1(\hat{s}_ 1), \dots, h_ n(\hat{s}_ n))^T \)，则 \( h(\hat{\mathbf{s}}) \) 的分量仍然是独立的（因为每个变换只作用于一个独立分量）。由于 \( h \circ g \) 也是一个可逆非线性函数，我们无法区分 \( g \) 和 \( h \circ g \) 哪个才是真正的解混函数。这意味着 \( \hat{\mathbf{s}} \) 可能只是真实源的一个非线性扭曲版本，而非真实源本身。 因此，非线性ICA在没有额外假设下是 不可识别 的。 第二步：引入辅助变量与条件独立性假设以建立识别性理论 为了解决识别性问题，必须引入额外的结构性假设。一种主流方法由Hyvarinen等人（2019）提出，核心思想是引入辅助变量 \( \mathbf{u} \)（如时间索引、类别标签、环境索引等），并假设潜在源的分布以 \( \mathbf{u} \) 为条件。 数据生成模型 ： 观测数据 \( \mathbf{x} \) 由独立源 \( \mathbf{s} \) 通过非线性混合生成 \( \mathbf{x} = f(\mathbf{s}) \)，但每个源 \( s_ i \) 的分布依赖于辅助变量 \( \mathbf{u} \)。具体地，假设给定 \( \mathbf{u} \) 时，各源条件独立： \[ p_ {\mathbf{s}|\mathbf{u}}(\mathbf{s}|\mathbf{u}) = \prod_ {i=1}^{n} p_ {i}(s_ i | \mathbf{u}), \] 即每个 \( s_ i \) 的条件分布仅依赖于 \( \mathbf{u} \)，且不同 \( s_ i \) 之间在给定 \( \mathbf{u} \) 时独立。辅助变量 \( \mathbf{u} \) 是观测到的（例如，在时序数据中，\( \mathbf{u} \) 可以是时间戳；在多任务数据中，\( \mathbf{u} \) 可以是任务标识）。 识别性定理的核心思想 ： 在该假设下，可以证明：如果辅助变量 \( \mathbf{u} \) 为源的分布提供了足够的变化（即不同 \( \mathbf{u} \) 下，各 \( s_ i \) 的条件分布充分不同），且混合函数 \( f \) 是可逆的，那么通过最大化估计源 \( \hat{\mathbf{s}} \) 的条件独立性，可以确保 \( \hat{\mathbf{s}} \) 与真实源 \( \mathbf{s} \) 之间只差一个置换和一个逐分量的可逆变换（通常是一个单调函数）。这为非线性ICA提供了可识别的理论保证。 第三步：构建对比学习目标函数 基于上述条件独立性假设，我们可以通过对比学习来求解非线性ICA。目标是学习一个解混函数 \( g_ {\theta} \)（参数化为神经网络），使得 \( \hat{\mathbf{s}} = g_ {\theta}(\mathbf{x}) \) 的各分量在给定 \( \mathbf{u} \) 时条件独立。 建模条件分布 ： 我们不对真实的条件分布 \( p_ i(s_ i | \mathbf{u}) \) 进行参数化建模，而是采用一种灵活的方法：为每个估计的源分量 \( \hat{s}_ i \) 定义一个以 \( \mathbf{u} \) 为条件的概率密度函数，形式为： \[ p_ i(\hat{s}_ i | \mathbf{u}; \psi_ i) = \frac{ q_ i(\hat{s}_ i) Z_ i(\mathbf{u}; \psi_ i) \exp \left[ G_ i(\hat{s}_ i; \psi_ i)^T \lambda_ i(\mathbf{u}; \psi_ i) \right] }{ \int q_ i(s') Z_ i(\mathbf{u}; \psi_ i) \exp \left[ G_ i(s'; \psi_ i)^T \lambda_ i(\mathbf{u}; \psi_ i) \right ] ds' }, \] 其中 \( q_ i \) 是一个固定的“先验”密度（如标准正态），\( G_ i \) 是特征函数（另一个神经网络），\( \lambda_ i(\mathbf{u}; \psi_ i) \) 是依赖于 \( \mathbf{u} \) 的自然参数（也由神经网络产生），\( Z_ i \) 是归一化常数，\( \psi_ i \) 是 \( G_ i \) 和 \( \lambda_ i \) 的参数。这种形式足够灵活，可以近似广泛的分布。 对比学习目标 ： 整个模型的对数似然为： \[ \log p(\mathbf{x} | \mathbf{u}; \theta, \psi) = \log \left| \det J_ {g_ {\theta}}(\mathbf{x}) \right| + \sum_ {i=1}^{n} \log p_ i(g_ {\theta}(\mathbf{x}) i | \mathbf{u}; \psi_ i), \] 其中 \( J {g_ {\theta}}(\mathbf{x}) \) 是 \( g_ {\theta} \) 在 \( \mathbf{x} \) 处的雅可比矩阵（行列式来自于变量变换），第一项是变换的Jacobian行列式，第二项是条件独立源的对数似然之和。 然而，直接优化这个似然是困难的，因为 \( p_ i \) 中的归一化常数 \( Z_ i \) 通常难以计算。为此，我们采用噪声对比估计（Noise Contrastive Estimation, NCE）的思想，将其转化为一个分类问题。 构造分类任务 ： 正样本：从真实数据中采样的对 \( (\mathbf{x}, \mathbf{u}) \)，其中 \( \mathbf{x} = f(\mathbf{s}) \)，\( \mathbf{s} \) 来自 \( p_ {\mathbf{s}|\mathbf{u}} \)。 负样本：构造“破坏的”样本对 \( (\tilde{\mathbf{x}}, \mathbf{u}) \)，其中 \( \tilde{\mathbf{x}} \) 是通过对 \( \mathbf{x} \) 进行某种变换（如随机打乱分量、用其他样本的 \( \mathbf{x} \) 替换等）得到的，使其不再满足 \( \tilde{\mathbf{x}} = f(\mathbf{s}) \) 且 \( \mathbf{s} \) 来自给定 \( \mathbf{u} \) 的条件独立分布。 定义一个评分函数（基于上述似然）： \[ F(\mathbf{x}, \mathbf{u}; \theta, \psi) = \log \left| \det J_ {g_ {\theta}}(\mathbf{x}) \right| + \sum_ {i=1}^{n} \left[ G_ i(g_ {\theta}(\mathbf{x}) i; \psi_ i)^T \lambda_ i(\mathbf{u}; \psi_ i) + \log q_ i(g {\theta}(\mathbf{x})_ i) \right ]. \] 注意这里去掉了难以计算的归一化项 \( Z_ i \)，因为它不依赖于具体的 \( \mathbf{x} \)（在对比学习中会被抵消）。 二元交叉熵损失 ： 目标是将正样本的评分 \( F(\mathbf{x}, \mathbf{u}) \) 推高，将负样本的评分 \( F(\tilde{\mathbf{x}}, \mathbf{u}) \) 推低。损失函数采用二元交叉熵形式： \[ \mathcal{L}(\theta, \psi) = -\mathbb{E} {(\mathbf{x}, \mathbf{u}) \sim p {data}} \left[ \log \sigma(F(\mathbf{x}, \mathbf{u})) \right] - \mathbb{E} {(\tilde{\mathbf{x}}, \mathbf{u}) \sim p {noise}} \left[ \log (1 - \sigma(F(\tilde{\mathbf{x}}, \mathbf{u}))) \right ], \] 其中 \( \sigma \) 是sigmoid函数，\( p_ {noise} \) 是负样本分布（通过破坏正样本构造）。通过最小化该损失，我们间接地促使 \( g_ {\theta} \) 将 \( \mathbf{x} \) 映射到条件独立的 \( \hat{\mathbf{s}} \)，并使得其分布符合我们设定的条件指数族形式。 第四步：模型实现与训练细节 网络结构 ： 解混网络 \( g_ {\theta} \) ：通常用一个可逆神经网络实现，如归一化流（Normalizing Flow），以确保雅可比行列式可计算。例如，可以使用RealNVP、Glow等结构。 特征网络 \( G_ i \) 和参数网络 \( \lambda_ i \) ：通常用多层感知机实现。\( G_ i \) 将每个估计的源分量 \( \hat{s}_ i \) 映射到一个特征向量；\( \lambda_ i \) 将辅助变量 \( \mathbf{u} \) 映射到自然参数向量。 负样本构造 ： 常用的破坏方式有： 在批次内随机打乱 \( \mathbf{x} \) 的样本，但保持 \( \mathbf{u} \) 不变。 从另一个不同的 \( \mathbf{u}' \) 对应的数据中选取 \( \mathbf{x}' \) 作为负样本的 \( \tilde{\mathbf{x}} \)，但使用当前的 \( \mathbf{u} \)。 对 \( \mathbf{x} \) 添加随机噪声或进行非线性变换。 训练流程 ： a. 从训练集中采样一个批次的正样本对 \( \{ (\mathbf{x}^{(j)}, \mathbf{u}^{(j)}) \}_ {j=1}^{B} \)。 b. 通过破坏策略为每个正样本构造一个对应的负样本 \( \tilde{\mathbf{x}}^{(j)} \)，得到负样本对 \( \{ (\tilde{\mathbf{x}}^{(j)}, \mathbf{u}^{(j)}) \} \)。 c. 将正样本和负样本输入网络，计算评分 \( F(\mathbf{x}^{(j)}, \mathbf{u}^{(j)}) \) 和 \( F(\tilde{\mathbf{x}}^{(j)}, \mathbf{u}^{(j)}) \)。 d. 计算二元交叉熵损失 \( \mathcal{L} \)。 e. 通过反向传播更新解混网络参数 \( \theta \) 和特征/参数网络参数 \( \psi \)。 f. 重复直到收敛。 推理 ： 训练完成后，对于新的观测 \( \mathbf{x} \)，通过前向传播计算 \( \hat{\mathbf{s}} = g_ {\theta}(\mathbf{x}) \)，即得到估计的独立源。根据识别性理论，每个 \( \hat{s}_ i \) 是真实源 \( s_ i \) 的一个可逆单调变换，在允许置换的意义下，恢复了独立的潜在因素。 总结 非线性ICA的识别性难题通过引入辅助变量和条件独立性假设得以解决。对比学习框架通过构造一个判别任务（区分真实数据对与破坏的数据对），避免了直接计算难以处理的归一化常数，从而能够有效训练一个可逆解混网络。该方法在理论上保证了源分离的可识别性，在实践中已成功应用于具有时间结构或分组信息的数据，实现了非线性盲源分离。