自适应提升（AdaBoost）算法的原理与构建过程
题目描述
AdaBoost（Adaptive Boosting）是一种集成学习算法，通过组合多个弱分类器（如决策树桩）来构建一个强分类器。其核心思想是逐步调整训练数据的权重分布，使后续弱分类器更关注之前被错误分类的样本。最终分类结果由所有弱分类器的加权投票决定。需要详细解释其权重更新机制、分类器权重计算及迭代过程。
解题过程
1. 算法初始化
- 假设训练数据集有 \(N\) 个样本 \((x_1, y_1), \dots, (x_N, y_N)\)，其中 \(y_i \in \{-1, +1\}\)。
- 初始化每个样本的权重：\(D_1(i) = \frac{1}{N}\)，表示第一轮所有样本重要性相同。
2. 迭代训练弱分类器（共 \(T\) 轮）
对于每轮 \(t = 1, \dots, T\)：
- 步骤2.1 训练弱分类器
使用当前样本权重分布 \(D_t\) 训练一个弱分类器 \(h_t\)，目标是最小化加权错误率：
\[ \epsilon_t = \sum_{i=1}^{N} D_t(i) \cdot \mathbb{I}(h_t(x_i) \neq y_i) \]
其中 \(\mathbb{I}\) 为指示函数。
- 步骤2.2 计算分类器权重
弱分类器 \(h_t\) 的权重 \(\alpha_t\) 由其错误率 \(\epsilon_t\) 决定：
\[ \alpha_t = \frac{1}{2} \ln \left( \frac{1 - \epsilon_t}{\epsilon_t} \right) \]
说明：错误率越低（\(\epsilon_t\) 越小），\(\alpha_t\) 越大，表示该分类器在最终投票中占比更高。
- 步骤2.3 更新样本权重
调整被错误分类样本的权重，使其在下一轮更受关注：
\[ D_{t+1}(i) = \frac{D_t(i) \cdot e^{-\alpha_t y_i h_t(x_i)}}{Z_t} \]
其中：
- \(y_i h_t(x_i)\) 在分类正确时为 \(+1\)，错误时为 \(-1\)；
- 分子部分使错误分类样本的权重乘以 \(e^{\alpha_t}\)（增大），正确分类样本的权重乘以 \(e^{-\alpha_t}\)（减小）；
- \(Z_t = \sum_{i=1}^{N} D_t(i) e^{-\alpha_t y_i h_t(x_i)}\) 是归一化因子，确保 \(D_{t+1}\) 是一个概率分布。
3. 组合强分类器
经过 \(T\) 轮迭代后，最终强分类器为所有弱分类器的加权投票：
\[H(x) = \text{sign} \left( \sum_{t=1}^{T} \alpha_t h_t(x) \right) \]
其中 \(\text{sign}\) 函数取结果的符号（+1 或 -1）。
关键点说明
- 自适应性：每轮样本权重的调整使算法动态聚焦于难分类样本，体现了“自适应”特性。
- 指数损失函数：权重更新公式等价于优化指数损失函数 \(\sum_{i=1}^{N} e^{-y_i f(x_i)}\)，其中 \(f(x) = \sum_{t=1}^{T} \alpha_t h_t(x)\)。
- 弱分类器要求：只需比随机猜测略好（\(\epsilon_t < 0.5\)），否则 \(\alpha_t\) 变为负数，破坏收敛性。
通过以上步骤，AdaBoost 将多个弱分类器提升为高精度强分类器，特别适用于处理复杂边界问题。