基于TextRank的文本摘要算法 TextRank是一种基于图的排序算法，用于文本摘要和关键词提取。它不需要预先训练，仅依赖文档内部的词汇关系来评估句子重要性。下面我将详细讲解其原理和实现步骤。 1. 算法背景与核心思想 TextRank借鉴了PageRank的链接分析思想，将文本转换为图结构： 节点 ：代表文本单元（如句子或单词）。 边 ：代表单元之间的相似性关系。 核心假设 ：如果一个句子与许多其他句子相似，则它更重要。 2. 文本预处理 首先对原始文本进行预处理： 分句 ：将文档拆分为句子列表（如使用句号、问号分割）。 分词与清洗 ：对每个句子分词，去除停用词（如“的”“是”）、标点符号，并保留关键词。 词干化/词形还原 ：将单词还原为基本形式（如“running”→“run”），减少词形变化干扰。 3. 构建句子向量表示 为了计算句子间的相似度，需将句子转化为数值向量。常用方法： 词袋模型 ：统计每个句子中词的频次。 TF-IDF加权 ：考虑词在整个文档中的重要性。 词向量平均 ：使用预训练词向量（如Word2Vec）对句子中所有词取平均。 4. 构建图结构 节点 ：每个句子作为一个节点。 边 ：计算每对句子的相似度，常用 余弦相似度 ： \[ \text{Similarity}(S_ i, S_ j) = \frac{\mathbf{V}_ i \cdot \mathbf{V}_ j}{\|\mathbf{V}_ i\| \|\mathbf{V}_ j\|} \] 其中 \(\mathbf{V}_ i\) 是句子 \(S_ i\) 的向量表示。 阈值处理 ：仅保留相似度高于阈值的边（如阈值=0.1），避免弱连接干扰。 5. TextRank权重计算 每个句子的重要性分数通过迭代计算得出，公式如下： \[ WS(S_ i) = (1-d) + d \times \sum_ {S_ j \in \text{In}(S_ i)} \frac{w_ {ji}}{\sum_ {S_ k \in \text{Out}(S_ j)} w_ {jk}} WS(S_ j) \] \(WS(S_ i)\)：句子 \(S_ i\) 的权重。 \(d\)：阻尼系数（通常设为0.85），模拟随机跳转到其他节点的概率。 \(\text{In}(S_ i)\)：指向 \(S_ i\) 的句子集合。 \(w_ {ji}\)：句子 \(S_ j\) 到 \(S_ i\) 的相似度。 迭代过程 ：初始化所有句子权重为1，重复更新直到收敛（差值小于阈值）。 6. 生成摘要 按权重排序句子 ：根据TextRank分数降序排列。 选择Top-K句子 ：根据摘要长度需求（如原文本的20%），选择最高分的K个句子。 还原顺序 ：按原文档中的顺序输出句子，确保逻辑连贯。 7. 示例说明 假设文档包含3个句子： \(S_ 1\): “猫喜欢吃鱼。” \(S_ 2\): “狗喜欢吃骨头。” \(S_ 3\): “猫和狗都是宠物。” 相似度矩阵： | | \(S_ 1\) | \(S_ 2\) | \(S_ 3\) | |-------|---------|---------|---------| | \(S_ 1\)| 1 | 0.2 | 0.8 | | \(S_ 2\)| 0.2 | 1 | 0.6 | | \(S_ 3\)| 0.8 | 0.6 | 1 | 通过迭代计算后，若 \(S_ 3\) 得分最高（因与 \(S_ 1\)、\(S_ 2\) 均相似），则被选入摘要。 8. 优缺点分析 优点 ： 无监督方法，无需标注数据。 适应多领域文本。 缺点 ： 忽略语义深度（如一词多义）。 长文档可能因图复杂度高而效率低。 9. 改进方向 结合语义信息 ：使用BERT等模型增强句子表示。 多文档摘要 ：扩展至跨文档关联分析。 图结构优化 ：引入注意力机制动态调整边权重。 通过以上步骤，TextRank能有效提取文本核心内容，适用于新闻摘要、报告生成等场景。