用REAP让o1更强！反思、显式问题解构和高级Prompt

随着各种自动写论文的框架被推出，生成式AI学术界存在这么一种观点，如果AI能够写出这个研究的代码（复现或证明论文的假设）或Prompt，那么这个研究不值得做。这种观点很有趣，如果悉心研究一下，其实Arxiv上有不少AI生成的水论文，但这是Arxiv评审的事情。我还是愿意把我认为有价值的论文、研究和文章介绍给大家。

比如上一篇《怎样让你的AI研究更有影响力？看DSPy作者斯坦福博士奥马尔·哈塔布的建议》，这个题目虽然是针对研究者的，其实每一位AI应用开发者更应该好好看看。AI技术进化速度如此之快，今非昔比，哪一项AI应用如果仅停留在过去的技术上希望能够长久生存下去，都是不现实的。我最近的文章标题有些犀利了，《真的别再吹o1模型是新的范式，看看清华的思维图(DoT)框架，LLM推理集大成者》但事实也正在朝着一种能证明我文章观点的方向发展，o1可能确实存在一些问题。比如近期OpenAI的CTO Mira Murati离职的事：

近日，一项创新性研究提出了REAP方法，通过反思、显式问题解构和高级Prompt技术，显著提升了包括OpenAI最新o1系列在内的多个顶级LLM的问题解决能力。这一方法不仅大幅提高了模型表现，还为AI系统复杂推理解决问题提供了一种新的Prompt框架。接下来我将为你介绍这篇500多页的论文：

REAP(Reflection，Explicit Problem Deconstruction，and Advanced Prompting)方法是一种创新的动态上下文生成框架，旨在增强LLM的问题解决能力。该方法通过三个关键组件协同工作：

1. 反思(Reflection)：促进问题解决过程中的持续反馈和重新评估。通过对新信息的反思，LLM能够不断完善其方法，产生更准确、更有见地的结果。

2. 显式问题解构(Explicit Problem Deconstruction)：将复杂任务分解为更小、更易管理的单元。这种结构化分析通过逐步解决每个元素来提高LLM的理解能力，确保每个阶段都保持清晰。

3. 高级Prompt(Advanced Prompting)：通过探索多种解决方案路径的策略组合来指导LLM的推理。这种方法有助于生成连贯、符合上下文且适合任务要求的输出。

REAP方法的独特之处在于它将这三个组件整合到一个统一的prompt中，创造了一个连贯的工作流程，大大增强了LLM的推理能力，尤其是在需要复杂、多层分析的任务中。

研究团队使用Williams和Huckle设计的"Easy Problems That LLMs Get Wrong"数据集对REAP方法进行了严格评估。这个数据集专门用于暴露LLM在逻辑推理、空间智能、关系理解和语言理解等方面的局限性。实验对比了六个最先进的LLM模型在零样本提示和REAP增强提示下的表现：

1. OpenAI的o1-preview

2. OpenAI的o1-mini

3. GPT-4o

4. GPT-4o-mini

5. Google的Gemini 1.5 Pro

6. Claude的3.5 Sonnet

研究者设置了一个衡量指标Metric：

1.答案的正确性：该指标衡量模型是否提供了准确的答案。它允许比较零样本提示和REAP增强提示之间的成功率。

2.逻辑推理：该指标评估模型推理的连贯性和一致性。它评估了REAP方法是否提高了模型保持从问题陈述到最终解决方案的逻辑进展的能力。

3.错误识别和最小化：该指标跟踪模型响应中错误的频率和严重性，特别是在复杂的推理任务中，以确定REAP方法是否减少了错误。

4.理解和相关性：该指标评估了模型响应与每个任务的具体要求的相关性和重点，确定REAP方法是否帮助模型生成了更适合上下文的答案。

研究采用了一个详细的评分标准，由人类评估者根据以下标准对模型回答进行评分：

- 100%：正确答案，推理清晰逻辑，无错误。

- 80%：正确答案，推理基本逻辑，有轻微错误或不一致。

- 60%：正确答案，但推理有缺陷或不清晰。

- 40%：错误答案，但显示出理解或部分正确推理。

- 20%：错误答案，但包含一些相关或有用信息。

- 0%：错误答案，无有用信息或推理错误。

实验结果相当不错：

- OpenAI的o1-mini性能提升了40.97%

- GPT-4o提升了66.26%

- GPT-4o-mini更是提升了惊人的112.93%

即使是已经表现出色的OpenAI o1-preview，在使用REAP方法后也实现了4.34%的性能提升。

REAP方法不仅提高了模型性能，还带来了显著的成本效益。研究发现，使用REAP方法后，一些更经济的模型能够达到与昂贵模型相当的性能水平。

以OpenAI的模型为例：

- o1-preview模型每百万输入token成本15美元，每百万输出token成本60美元。

- GPT-4o-mini模型每百万输入token仅需0.15美元，每百万输出token仅需0.6美元。

价格相差100倍，但在使用REAP方法后，GPT-4o-mini的性能从30.68%提升到了65.32%，几乎追平了o1-preview的表现。这意味着，对于预算敏感的项目，可以通过REAP方法使用更经济的模型实现近乎顶级的性能。

REAP方法通过一个框架式的prompt引导LLM完成问题解决过程。这个过程包括以下三个部分十五个关键步骤，为了便于理解，我将小标题颜色和每个部分的颜色标识为一致。

1. 字面解释规则：要求LLM严格按字面意思解释问题中的每个陈述，不做任何推断。

2. 严格解释规则：坚持只使用问题中明确陈述的信息，不做任何假设。

3. 全面特征分析：列出问题陈述中提供的每一个特征、细节或信息片段，包括所有提到的对象、实体、动作、关系等。

4. 顺序和机械过程检查：明确识别和分析问题中描述的任何顺序、循环或机械过程。

5. 关键洞察检查：寻找可能立即揭示正确答案或显著简化问题的关键细节。

6. 已知和推导信息：列出明确陈述的事实，并只基于问题的明确措辞进行100%确定的推导。

7. 问题分解：将问题分解为更小、更易管理的部分，识别关键组件和子组件。

8. 思维图：创建问题结构的视觉或文本表示，探索可能的解决方案。

9. 空间和对象分析：构建对问题中涉及的空间关系和对象的详细理解。

10. 贝叶斯思维：只基于问题中明确陈述的信息更新信念。

11. 伦理检查和不确定性下的决策：确保决策优先考虑安全和伦理因素，特别是在面临不确定性和潜在严重风险时。

12. 多解方案生成：综合前面步骤获得的所有知识，产生多个潜在解决方案。

13. 最快最简单解决方案：基于问题陈述中的明确信息，找出最简单、最安全的答案。

14. 反思：审查解决方案，确保结论在逻辑上合理，并得到问题陈述中明确证据的支持。

15. 最终输出和建议：基于所有考虑因素提供最终建议，只使用明确陈述的信息，确保决策符合伦理和安全考虑。

这个Prompt有些复杂，但通过这个框架式过程，REAP方法能够引导LLM系统地分析问题，生成动态上下文，并在prompt的后续部分利用这些上下文来指导决策。你可以将你认为有用的部分进行解构加入你的Prompt中，也可以将其写成SYSTEM PROMPT这种方法可以提高LLM处理复杂问题的能力，使其能够产生更加合理和正确的解决方案。

REAP方法的优势不仅限于提高模型性能，还体现在以下几个方面：

1. 增强可解释性：REAP通过明确的问题分解和反思机制，使AI系统的推理过程更加透明。这种透明度对于建立用户对AI系统的信任至关重要，特别是在金融或法律等高风险决策领域。

2. 框架式推理：REAP提供了一个系统化的问题解决框架，帮助LLM更好地组织思路，减少逻辑错误。这种框架化的方法特别适合处理需要多步推理的复杂问题。

3. 动态适应：通过反思和贝叶斯更新，REAP使LLM能够根据新信息动态调整其理解和策略。这种灵活性使模型能够更好地处理复杂和动态变化的问题情境。

4. 通用性：REAP方法可以应用于各种不同的LLM，从而为不同的AI系统提供一种统一的问题解决框架。

尽管REAP方法展现出了巨大潜力，但研究也发现了一些局限性：

1. 计算需求：REAP方法需要LLM进行更深入、更全面的分析，可能会增加计算需求和处理时间。

2. 推理瓶颈：由于REAP涉及多个依次构建的阶段，在处理大量或复杂信息时可能会出现瓶颈。

3. 对明确信息的依赖：REAP方法强调使用明确陈述的信息，这可能限制其在处理不完整或模糊问题陈述时的效果。

为了应对这些挑战，研究团队提出了几个未来发展方向：

1. 优化特征分析和问题分解阶段，减少冗余分析，降低计算负担。

2. 在REAP prompt中引入检查点或中间评估，帮助模型在各个阶段评估进度并保持一致性。

3. 探索将REAP与元学习或强化学习等先进技术结合，以提高其适应性和影响力。

4. 针对不同LLM架构优化REAP方法的应用，以确保其在不同系统中的有效性。

5. 进一步探索动态上下文生成在REAP中的应用，使方法能够根据具体问题细节实时生成定制化指导。

REAP方法的成功不仅标志着LLM问题解决能力的重大突破，还为AI系统的可解释性、成本效益带来了新的可能。