图神经网络中的图注意力网络（Graph Attention Network, GAT）原理与计算细节
题目描述
图注意力网络（GAT）是一种基于注意力机制的图神经网络模型，能够为图中的每个节点分配不同的注意力权重，从而捕捉节点间的重要性差异。与传统的图卷积网络（GCN）使用固定的归一化系数不同，GAT通过可学习的注意力机制动态计算邻居节点的权重。本题目将详细讲解GAT的核心思想、注意力系数计算、多头注意力机制以及具体实现细节。
解题过程
1. 图注意力网络的核心思想
图结构数据中，节点之间的关系并非同等重要。例如，在社交网络中，用户与亲密好友的交互比与普通联系人的交互更具影响力。GAT通过注意力机制解决这一问题，其核心思想包括：
- 自适应权重分配：为每个邻居节点计算独立的注意力权重，无需依赖图结构的先验知识（如节点度）。
- 局部化操作：每个节点的表示仅依赖于其一阶邻居，通过堆叠多层网络可捕获多跳邻域信息。
- 并行计算：所有节点的注意力系数可同时计算，保证高效性。
2. 注意力系数计算步骤
假设图中节点 \(i\) 的特征为 \(\mathbf{h}_i\)，其邻居节点包括 \(j \in \mathcal{N}_i\)（含自身）。计算节点 \(i\) 与邻居 \(j\) 的注意力系数分为以下步骤：
- 步骤1：线性变换
通过可学习权重矩阵 \(\mathbf{W} \in \mathbb{R}^{F' \times F}\) 将输入特征 \(\mathbf{h}_i, \mathbf{h}_j\) 映射到高维空间：
\[ \mathbf{z}_i = \mathbf{W} \mathbf{h}_i, \quad \mathbf{z}_j = \mathbf{W} \mathbf{h}_j \]
其中 \(F\) 和 \(F'\) 分别为输入和输出特征维度。
- 步骤2：注意力得分计算
使用注意力机制 \(a: \mathbb{R}^{F'} \times \mathbb{R}^{F'} \to \mathbb{R}\) 计算节点对 \((i,j)\) 的得分：
\[ e_{ij} = a(\mathbf{z}_i, \mathbf{z}_j) = \text{LeakyReLU}\left(\mathbf{a}^\top [\mathbf{z}_i \| \mathbf{z}_j]\right) \]
其中 \(\mathbf{a} \in \mathbb{R}^{2F'}\) 为可学习参数，\(\|\) 表示向量拼接，LeakyReLU（斜率通常设为0.2）引入非线性。
- 步骤3：归一化注意力权重
对注意力得分进行Softmax归一化，得到节点 \(j\) 对 \(i\) 的权重：
\[ \alpha_{ij} = \frac{\exp(e_{ij})}{\sum_{k \in \mathcal{N}_i} \exp(e_{ik})} \]
此步骤确保所有权重之和为1，且考虑所有邻居（包括自身）。
3. 输出特征聚合
节点 \(i\) 的最终输出特征通过加权求和得到：
\[\mathbf{h}_i' = \sigma\left(\sum_{j \in \mathcal{N}_i} \alpha_{ij} \mathbf{z}_j\right) \]
其中 \(\sigma\) 为非线性激活函数（如ELU）。若忽略激活函数，该操作可视为注意力加权的邻居特征聚合。
4. 多头注意力机制
为增强模型稳定性，GAT引入多头注意力（Multi-head Attention）。具体而言，独立进行 \(K\) 组注意力计算，并将结果拼接或求平均：
- 拼接方式（用于中间层）：
\[ \mathbf{h}_i' = \|_{k=1}^K \sigma\left(\sum_{j \in \mathcal{N}_i} \alpha_{ij}^k \mathbf{W}^k \mathbf{h}_j\right) \]
输出特征维度变为 \(K \times F'\)。
- 平均方式（用于输出层）：
\[ \mathbf{h}_i' = \sigma\left(\frac{1}{K} \sum_{k=1}^K \sum_{j \in \mathcal{N}_i} \alpha_{ij}^k \mathbf{W}^k \mathbf{h}_j\right) \]
保持特征维度为 \(F'\)，同时减少方差。
5. 实现优化与理论性质
- 掩码注意力：仅计算一阶邻居的注意力权重，无需全局图结构，适用于归纳学习（如动态图）。
- 计算复杂度：单头注意力复杂度为 \(O(|V|FF' + |E|F')\)，其中 \(|V|\) 和 \(|E|\) 为节点和边数量。
- 与GCN对比：GCN的权重依赖于节点度（\(\alpha_{ij} = 1/\sqrt{\deg(i)\deg(j)}\)），而GAT的权重由数据驱动学习。
6. 总结
GAT通过注意力机制实现了节点间关系的动态建模，其核心优势在于：
- 无需预先定义图结构的重要性；
- 适用于异构邻居分布的场景；
- 多头注意力提升表达能力和鲁棒性。
该模型已成为图神经网络的基础组件，广泛应用于社交分析、推荐系统等领域。