别再花费时间手写 Prompt 了！使用 DSPy 自动优化 AI 流水线

本文正文字数约 3600 字，阅读时间 10 分钟。

尽管现在有大量的框架来辅助我们编写提示语，但是效果并没有我们期望的那么好。

就算花了大量时间来反复修改调试提示语，最终 AI 给出的回答的质量依然参差不齐。

所以，我们不妨换个思路：从手动编写提示语，到直接对 LLM 进行编程。

这个方案就是 DSPy，这是一个开源的 Python 框架，它可以让我们使用模块化和声明式编程来构建 AI 应用，而不是依赖于一次又一次向 AI 提问的提示语。

本文详细解释 DSPy 框架的的主要特性和优势，以及与其他方法的不同之处。

目录

• • 什么是 DSPy

• • DSPy 的主要特性

• • DSPy 的工作流程

• • DSPy 的优势

• • 安装 DSPy

• • 总结

什么是 DSPy

DSPy 是由斯坦福大学创建的开源工具。通过 DSPy，我们可以编写一些高层次的、描述性的代码，然后 DSPy 会自动生成并优化这些代码的执行过程，使其在使用中不断改进和优化。

这样可以让 AI 应用程序更可靠且更易于扩展。DSPy 将应用程序的逻辑与其使用的文本分离，因此我们可以专注于 AI 的功能实现。同时，DSPy 会在后台优化提示语。

DSPy 的主要特性

声明式编程（Declarative programming）

在 DSPy 中，我们只需定义想要完成的任务以及衡量成功的指标即可。框架会自动优化 LLM 的行为。

它使用易于理解的 Python 语法，让我们可以专注于应用程序的功能，而不是如何去给 LLM 提示。

声明式编程是一种编程范式，侧重于描述程序的逻辑和目标，而不是详细说明如何实现这些目标的具体步骤。与命令式编程不同，声明式编程更关注“做什么”而不是“怎么做”。

自我改进的提示语（Self-improving prompts）

DSPy 的一个突出特性就是，它能够自动改进提示语。

DSPy 会不断优化提示语，免去手动频繁调整的麻烦。

通过迭代改进的方式，在每一次迭代中进行反馈和评估，这样可以确保 LLM 在每一次的迭代的表现中都能够比上一次的表现更好。

模块化架构（Modular architecture）

DSPy 还提供了模块化的架构，我们可以在不同的自然语言处理任务中组合使用对应的预构建的模块。

这种模块化设计可以满足高度可定制的需求，促进灵活性和可重用性。

框架中包括诸如 ChainOfThought 和 ReAct 等实用模块，可以轻松集成到你的应用程序中。

ChainOfThought 即链式思维提示，如果想要了解更多，可以参考：链式思维提示是什么？使用 Prompt 就能让 AI 像你一样思考

ReAct 是一种结合了推理和动作的框架，用于增强 LLM 在处理复杂任务时的表现。具体来说，ReAct 框架允许 LLM 不仅生成文本，还能够根据上下文信息执行一系列动作，从而实现更复杂的任务管理和决策能力。

DSPy 的工作流程

任务定义

在 DSPy 中，我们首先需要指定任务目标和优化指标。也就是说，需要定义希望 LLM 实现的目标以及衡量成功的标准。

DSPy 使用有标注或无标注的示例输入来引导学习过程。这些示例有助于框架更好地理解任务并提高其性能。

此外，DSPy 引入了模块的概念，这些模块是各种 NLP 任务的可重用构建块。根据不同需求可以组合和定制这些模块。

管道构建

任务定义完成之后，我们需要选择并配置特定任务的模块。这涉及到选择与任务需求匹配的模块并进行相应设置。

在 DSPy 中，我们可以将这些模块串联起来，创建复杂的管道，实现复杂的工作流。每个模块都有定义输入和输出规格的签名，确保模块之间能够无缝协作。

在计算机科学和数据处理领域，管道（Pipeline）是一种设计模式，用于将一系列任务按顺序连接起来，以便数据能够依次通过每个任务或步骤。每个步骤通常执行特定的操作，并将其输出传递给下一个步骤，直到完成整个流程。

优化和编译

DSPy 使用上下文学习和自动少量示例生成来优化提示语。也就是说，框架会不断优化提示语来提高 LLM 的性能。对于需要更具体调优的任务，DSPy 还可以对较小的模型进行微调。

最后，DSPy 将整个管道编译成可执行的 Python 代码，这样可以集成到应用程序中。

这样的编译过程可以确保管道运行高效且有效。

DSPy 的优势

提高可靠性

DSPy 的声明式方法使 LLM 的行为更加可靠和可预测。

与手动编写提示语不同，我们只需定义希望模型执行的任务。DSPy 会自行确定如何稳定地实现这些任务。

举例来说，假设我们正在构建一个技术支持的聊天机器人。与其编写具体的提示语，不如使用 DSPy 直接定义我们的意图：

1. 1. 理解客户的问题。

2. 2. 从知识库中检索相关信息。

3. 3. 生成有帮助且富有同理心的回应。

4. 4. 检查回应是否解答了原始问题。

5. 5. 如果没有，优化回答。

DSPy 将会处理以下内容：

• • 为每个步骤编写最优提示语。

• • 管理步骤之间的信息流动。

• • 不断优化整个过程来提高准确性和一致性。

例如，DSPy 可能会学习到在第 3 步中以“我理解你的顾虑...”开头的回应会提高客户满意度；或者，对于第 4 步，它可能会发展出有效的方法来检查原始问题和回应的匹配度。

关键就在于，我们需要专注于定义高层次的结构和目标。

DSPy 负责提示语设计和优化的细节，从而使 LLM 在处理各种客户咨询时表现得更可靠和可预测。

这也就意味着，我们可以轻松调整聊天机器人的行为而无需手动重写所有提示语。DSPy 会自动适应并优化新的要求。

简化开发

DSPy 的模块化架构和自动提示语优化让 LLM 开发变得更加简单。

我们可以通过组合预构建的模块来构建复杂的应用程序，就像拼积木一样。

DSPy 在后台处理提示语优化的复杂部分，我们只需要专注于应用程序的逻辑即可，而不是不断调整提示语。

比如，我们正在创建一个博客内容创作助手，无需编写代码，可以这样构思：

主题生成模块

• • 输入：博客的细分领域和目标受众

• • 输出：潜在的博客主题列表

大纲创建模块

• • 输入：选定的博客主题

• • 输出：博客文章的详细大纲

内容撰写模块

• • 输入：博客大纲

• • 输出：完整的博客文章草稿

编辑模块

• • 输入：博客文章草稿

• • 输出：编辑和润色后的博客文章

SEO 优化模块

• • 输入：编辑后的博客文章

• • 输出：SEO 优化版本的文章

在这个场景中，DSPy 将会：

• • 提供这些预构建的模块，我们只需选择并将它们组合好即可。

• • 在后台自动优化每个模块的提示语。

• • 管理模块之间的信息流动。

我们无需编写任何代码或设计提示语，只需选择所需的模块，按所需顺序排列，并指定输入即可。

这样就可以轻松地创建一个功能强大的内容创作助手，并不需要深入了解提示语优化的细节。

适应性

DSPy 在在适应新任务和新领域方面表现出色。

我们只需调整任务定义和衡量指标，DSPy 就会重新配置自身来满足这些新需求。

也就是说，我们可以迅速将 LLM 应用于不同的使用场景，而无需每次都从头开始。

以上文中技术支持的聊天机器人为例。

起初，机器人的任务是回答技术支持问题，其衡量指标主要集中在回答准确性和解决方案相关性，覆盖计算机硬件和软件领域。

现在，我们想将这个聊天机器人调整为一家医疗公司的客服。

所以，我们需要将任务定义调整为“回答与医疗相关的客户咨询”，并修改衡量指标，包括“医疗准确性”和处理敏感健康问题的“同理心评分”。同时，还需要指定新的领域，包括一般医疗、医疗程序和保险。

通过这些调整，DSPy 会自动重新配置自身。它会调整其内部流程，重点关注医疗知识库，适应生成更加同理心和医学准确的语言，并更改其评估标准，以优先考虑医疗准确性和同理心。

我们只需提供一小部分与医疗相关的问答示例。DSPy 会利用这些示例来微调其方法，而不需要你重写任何提示语。

无需编写任何新的代码，重新定义任务，调整衡量指标，提供新示例，就足以让 DSPy 重新配置底层的 LLM 交互来满足新的需求。

可扩展性

DSPy 的优化技术在对于大规模任务的处理极具价值。

通过自动优化提示语和调整模型行为，框架能够提高 LLM 在大数据集或复杂问题上的性能。

比如，要为一个电子商务平台开发推荐系统，系统最初需要处理大量的用户互动数据和产品详情来生成个性化推荐。

如果没有 DSPy，我们需要为每个步骤手动编写提示语，比如检索用户历史、分析偏好和推荐产品。这一过程需要大量的反复试验，随着数据集的增长，复杂性也会指数级增加。

如果使用 DSPy 的话，将会是以下这样的流程。

首先定义任务：生成个性化的产品推荐。

然后，指定需要优化的指标，例如推荐准确性和用户满意度。

接下来，提供一个包含用户互动和产品详情的数据集。这个数据集帮助 DSPy 理解任务并改进其性能。

DSPy 使用其模块化架构将任务分解为较小的、可管理的模块。

比如，一个模块可能处理检索用户历史，另一个模块分析偏好，第三个模块生成产品推荐。

随着更多数据被提供以及任务定义的细化，DSPy 会自动优化提示语和调整模型行为。

我们无需手动调整每个提示语——DSPy 会在后台为我们完成这些工作。

如果数据集增长或用户互动的复杂性增加，DSPy 将重新配置自身以处理更大的规模。它会优化提示语并调整模型参数来确保性能的一致性和可靠性。

这种可扩展性确保推荐系统可以随需求增长并应对更具挑战性的任务，而无需每次都从头开始。

DSPy 的优化技术使得处理大规模任务变得高效，从而让我们能够专注于应用程序的高层逻辑，而不是提示语设计的细节。

开始 DSPy

此部分涉及一定的编程基础，使用 DSPy 需要 Python 3.7 及以上版本。

我们可以使用 pip 来安装 DSPy，可以打开命令行运行以下命令。

pip install dspy-ai

此命令将安装最新稳定版本的 DSPy。

如果你想探索 DSPy 的附加功能并集成其他工具，可以选择带有额外支持的安装方式。例如，要包含 Pinecone 支持，可以使用：

pip install "dspy-ai[pinecone]"

对于其他集成工具如 Qdrant、ChromaDB 和 Marqo，也有类似的命令。

DSPy 官方文档：https://dspy-docs.vercel.app/

总结

总而言之，DSPy 提供了一种更直观和强大的 AI 工作方式，从提示语设计转向编程基础模型。

本文只是 DSPy 的开始，我将会在后续更多的文章中为你介绍 DSPy。

同时，在使用 DSPy 的过程中，不要忘记利用社区资源，保持对这个领域的关注。