原文：FoRAG: Factuality-optimized Retrieval Augmented Generation for Web-enhanced Long-form Question Answering
地址：https://arxiv.org/html/2406.13779v1
代码：https://huggingface.co/forag
出版：KDD '24
机构: 蚂蚁集团、清华大学

1 研究问题

本文研究的核心问题是: 如何提高网络增强型长篇问答系统的回答质量，特别是在事实性和逻辑性方面。

本文研究问题的特点和现有方法面临的挑战主要体现在以下几个方面:

• 长篇回答容易出现事实性错误，而人工验证成本高昂
• 现有方法难以生成结构清晰、逻辑连贯的长篇回答
• 传统的RLHF方法在长篇回答场景下存在稀疏反馈信号的问题
• 中英双语网络增强型长篇问答数据集的缺乏

针对这些挑战，本文提出了一种基于大纲增强和多粒度事实性优化的"FoRAG"方法:

2 研究方法

2.1 大纲增强生成器

大纲增强生成器是FoRAG方法的核心组件之一,旨在提高生成答案的逻辑结构和连贯性。这个生成器采用两阶段生成策略:大纲生成阶段和扩展阶段。

在大纲生成阶段,系统首先考虑最适合当前问题的组织模式,例如"因果关系"或"对比分析"。举个例子,如果问题是"为什么恐龙灭绝了?",系统可能会选择"因果关系"作为组织模式。然后,系统会生成一个简洁的大纲,包含主要论点。在我们的恐龙灭绝例子中,大纲可能是:

1. 小行星撞击理论
2. 火山爆发理论
3. 气候变化理论

在扩展阶段,系统基于生成的大纲来构建完整的答案。这就好比一个作家先列出文章的框架,然后再逐步填充内容。对于恐龙灭绝的例子,系统会详细阐述每个理论,解释它们如何可能导致恐龙灭绝。

这种方法的优势在于,它能确保生成的答案具有清晰的结构和逻辑流程,使读者更容易理解复杂的信息。直觉上,这就像是先搭建房子的骨架,然后再填充墙壁和装饰,而不是直接开始随意堆砌砖块。

2.2 大纲增强长篇问答数据集

为了训练和评估大纲增强生成器,我们构建了一个专门的大纲增强长篇问答数据集。这个数据集的特点是每个样本不仅包含问题和答案,还包含答案的大纲。具体来说,我们使用了两个现有的网络增强型长篇问答数据集:英文的WebGLM-QA和中文的WebCPM。我们保留了这些数据集中的问题和相关段落,但使用我们的大纲增强生成技术重新生成了答案。举个例子,对于"为什么恐龙灭绝了?"这个问题,数据集中的一个样本可能包含:

• 问题:"为什么恐龙灭绝了?"
• 相关段落:(包含关于恐龙灭绝理论的信息)
• 大纲:上面提到的三点理论
• 答案:基于大纲生成的详细解释

这个数据集的构建过程可以类比为给一本没有目录的书添加目录,然后根据目录重写每一章。这不仅提高了内容的组织性,还为学习如何生成结构化答案提供了宝贵的训练资料。

2.3 双重细粒度RLHF框架

双重细粒度RLHF(Reinforcement Learning from Human Feedback)框架是FoRAG方法中用于优化生成内容事实性的关键组件。这个框架的设计灵感来自于人类对信息的处理方式:我们不仅关注整体内容,还会细致审查每个细节。这个框架包含两个主要创新点:细粒度自动评估和细粒度奖励建模。

2.3.1 细粒度自动评估

在细粒度自动评估中,我们考虑了三个不同的粒度级别:

1. 整体评估:这是最传统的方法,给整个答案一个单一的事实性分数。
2. 句子级评估:将答案分解为句子,并单独评估每个句子的事实性。
3. 子主张级评估:将每个句子进一步分解为多个子主张,并评估每个子主张的事实性。

这就好比阅读一篇文章,我们可以给出整体印象,也可以逐句分析,甚至可以考察每个具体的观点。举个例子,对于"小行星撞击导致恐龙灭绝"这个句子,我们可以将其分解为"小行星撞击地球"和"这次撞击导致恐龙灭绝"两个子主张,并分别评估它们的事实性。

2.3.2 细粒度奖励建模

在奖励建模方面,我们提出了两种粒度级别:

1. 序列级:为每个序列(可能是整个答案、一个句子或一个子主张)学习一个单一的奖励。
2. 令牌级:为序列中的每个令牌(token)学习一个奖励。

这种方法可以类比为教师批改作文。序列级奖励就像给整篇文章或每个段落一个总体评分,而令牌级奖励则像是在文章中标注出每个好的或需要改进的词语。

通过结合不同粒度的评估和奖励建模,我们可以更精确地识别和改进生成内容中的事实性问题。例如,如果系统在描述小行星撞击的具体时间时出现错误,细粒度评估可以准确定位这个错误,而细粒度奖励模型则可以为修正这个具体时间信息提供更精确的指导。这个框架的优势在于它能提供更丰富、更细致的反馈信号,使模型能够学习到更细微的事实性调整。这就好比给学生提供详细的批注和建议,而不仅仅是一个总体分数,从而帮助他们更好地理解和改进自己的表现。

3 实验

3.1 实验场景介绍

该论文提出了一种名为FoRAG的新方法，用于改进网络增强型长篇问答(web-enhanced LFQA)任务。实验主要验证FoRAG在生成连贯、有帮助和事实准确的长篇回答方面的性能，并与现有的方法进行比较。

3.2 实验设置

• Datasets：主要使用两个数据集

1. WebGPT的数据集：272个样本，来自WebGPT演示网站
2. WebCPM的数据集：中文数据集，包含5,500个样本

• Baseline：WebGPT (13B和175B版本)、WebGLM 10B、WebCPM 10B
• Implementation details：
• 使用Llama2-7B-chat和ChatGLM2-6B进行微调
• 最大上下文长度：Llama2-7B-chat为4096，ChatGLM2-6B为8192
• 在8个A100 GPU上训练5个epoch，初始学习率为1e-5，使用余弦学习率调度器
• metric：
• 连贯性(Coherence)：评估回答的整体质量和结构
• 有帮助性(Helpfulness)：评估回答满足信息需求的程度
• 事实性(Factuality)：评估回答的事实准确性，包括查询级和句子级
• 环境：训练在8个A100 GPU上进行，推理在单个A100 GPU上进行

3.3 实验结果

实验1、FoRAG与现有web增强型RAG模型的性能比较



目的：评估FoRAG在连贯性、有帮助性和事实性方面的性能，与现有方法进行比较
涉及图表：表1
实验细节概述：在WebCPM（中文）和WebGPT（英文）数据集上，比较FoRAG-L 7B和FoRAG-C 6B与基线模型的性能
结果：

• FoRAG-L 7B在所有指标上都优于现有方法，包括WebGPT 175B
• FoRAG-C 6B在大多数指标上超过了基线模型
• FoRAG-L 7B显著优于WebGPT 175B，尽管参数量只有后者的1/24

实验2、大纲增强和事实性优化的消融实验



目的：评估大纲增强生成技术和事实性优化对模型性能的影响
涉及图表：表2
实验细节概述：比较有无大纲增强和事实性优化的FoRAG变体在各项指标上的表现
结果：

• 大纲增强技术显著提高了连贯性和有帮助性
• 事实性优化明显提升了事实性分数，同时不影响其他指标
• 两种技术结合使用时，模型在所有指标上都达到最佳性能

实验3、不同事实性优化技术的对比实验



目的：比较各种实现FoRAG方法的性能，包括不同评估和奖励模型粒度的组合
涉及图表：表3
实验细节概述：在FoRAG-L 7B上测试各种事实性优化技术，包括不同粒度的评估和奖励建模
结果：

• 子句级评估和段落级奖励建模的组合效果最佳
• 所有FoRAG变体都优于基线方法（如不可能性和MLE过滤）
• 细粒度RLHF方法普遍优于传统RLHF

实验4、大纲增强生成技术的有效性验证



目的：验证大纲增强生成技术对模型性能的影响
涉及图表：表4
实验细节概述：比较有无大纲增强技术的FoRAG-C 6B和FoRAG-L 7B在连贯性和有帮助性上的表现
结果：

• 大纲增强技术显著提高了模型的连贯性和有帮助性
• 在中文任务上，改进尤为明显

实验5、GPT4辅助自动评估与人工评估的一致性验证



目的：验证GPT4辅助自动评估的可靠性
涉及图表：表5
实验细节概述：让10名中文母语者对200个样本进行人工评估，并与GPT4的评估结果进行比较
结果：

• GPT4评估与人工评估在大多数指标上具有很高的一致性
• 在查询级事实性评估上，人工评估的一致性较低，可能是因为比较长文本的困难

实验6、双细粒度RLHF的训练效率评估



目的：评估双细粒度RLHF框架的计算成本
涉及图表：表6
实验细节概述：比较不同RLHF方法的训练时间
结果：

• 子句版双细粒度RLHF比标准RLHF多花费67.7%的时间
• 额外的计算成本可以通过优化实现进一步减少

实验7、训练数据集中英文比例对模型性能的影响研究



目的：评估训练数据集中中英文比例对双语LLM性能的影响
涉及图表：图2
实验细节概述：固定训练样本总数为40k，调整中英文比例，从1:10到10:1，观察对模型性能的影响
结果：

• 随着特定语言数据量的增加，模型在该语言上的连贯性和有帮助性显著提高
• 事实性指标受数据比例影响较小
• Llama2-7B对中文训练样本数量的变化更敏感，可能是由于预训练语料中英文占比较高

4 总结后记

本论文针对网络增强型长篇问答（Web-enhanced Long-form Question Answering，LFQA）中的事实性问题，提出了一种名为FoRAG的方法。FoRAG包含两个主要创新点：1）提出了一种基于大纲的生成器，通过两阶段生成过程提高回答的逻辑性；2）设计了一种基于双重细粒度RLHF（Reinforcement Learning from Human Feedback）框架的事实性优化方法。实验结果表明，FoRAG在英语和中文基准测试中都取得了最先进的性能，特别是在一致性、有用性和事实性方面。值得注意的是，基于Llama2-7B-chat的FoRAG-L-7B模型在这些指标上超过了参数量为其24倍的WebGPT-175B模型。

疑惑和想法：

1. 大纲生成器是如何处理不同类型的问题的？是否对某些特定领域或问题类型更有效？
2. 双重细粒度RLHF框架如何平衡不同粒度的奖励信号？是否存在优化的方法来自动选择最佳的粒度组合？
3. FoRAG在处理多语言任务时的表现如何？是否需要针对不同语言进行特定的调整？
4. 如何进一步提高模型的事实性，特别是在处理复杂或模棱两可的问题时？
5. FoRAG的计算效率如何？是否有可能在保持性能的同时进一步减少模型大小或推理时间？

可借鉴的方法点：

1. 基于大纲的两阶段生成过程可以应用于其他需要结构化输出的自然语言生成任务，如文章写作、报告生成等。
2. 双重细粒度RLHF框架的思想可以推广到其他需要优化多个目标的机器学习任务中，如多任务学习、多模态学习等。
3. 利用较小参数量的模型（如7B）通过优化算法达到甚至超过大型模型（如175B）性能的方法，可以为其他NLP任务的模型压缩和效率提升提供借鉴。
4. 结合搜索引擎和大语言模型的方法可以应用于其他需要实时获取和处理信息的应用场景，如智能客服、个人助理等。
5. 文中提出的事实性评估方法可以用于其他需要验证生成内容准确性的任务，如自动摘要、机器翻译等的评估。