局部加权回归（Locally Weighted Regression, LWR）算法的原理与拟合过程

题目描述
局部加权回归是一种非参数回归方法，用于对数据点进行平滑拟合。与全局线性回归不同，LWR在每个预测点附近赋予邻近样本更高的权重，通过加权最小二乘法进行局部拟合。其核心思想是"局部性"——仅利用查询点邻域内的样本建立简单模型（如线性模型），从而灵活捕捉数据中的非线性模式。

解题过程

1. 确定查询点与权重函数

   • 设查询点为x（需要计算预测值的位置），训练样本为{(xᵢ, yᵢ)}
   • 定义权重函数：wᵢ = exp(-(xᵢ - x)² / (2τ²))
     其中τ为带宽参数，控制权重衰减速度。τ越大，考虑邻域越宽，曲线越平滑

2. 构建加权最小二乘模型

   • 在查询点x处，假设局部线性关系：y ≈ θ₀ + θ₁x
   • 通过最小化加权平方和求解参数：
     J(θ) = Σ wᵢ (yᵢ - θ₀ - θ₁xᵢ)²
   • 写成矩阵形式：
     J(θ) = (Xθ - y)ᵀW(Xθ - y)
     其中W = diag(w₁, w₂, ..., wₙ)为权重矩阵

3. 求解局部参数

   • 令∂J(θ)/∂θ = 0，得到闭式解：
     θ̂ = (XᵀWX)⁻¹XᵀWy
   • 在x处的预测值为：ŷ(x) = xᵀθ̂
     其中x = [1, x]ᵀ为增广特征向量

4. 带宽参数选择

   • 通过交叉验证优化τ值
   • τ过小会导致过拟合（对噪声敏感）
   • τ过大会导致欠拟合（退化为普通线性回归）

5. 预测新样本

   • 对每个新查询点x重复上述1-3步
   • 每次都需要重新计算权重矩阵W和参数θ

关键特点

• 非参数方法：无需预设全局函数形式
• 计算密集：每个预测点都需重新拟合模型
• 内存基础：需存储全部训练数据进行预测
• 适合非线性关系：能灵活适应数据局部特征