自然语言梯度下降：斯坦福大学推出TextGrad，使用大型语言模型反向传播文本梯度，通过文本实现自动“微分”的强大框架

今天要跟大家介绍的是斯坦福大学最新的研究项目TextGrad，一个让自动“微分”通过文本实现的强大框架！

大家可能知道，传统的自我改进机器学习系统，比如DSPy，已经在优化AI任务方面有了一定的成就。而TextGrad则是在此基础上的进一步提升。

这个项目通过一种创新的方式工作：它将每个人工智能系统转换成一个计算图，其中变量是复杂（不一定可微）函数调用的输入和输出。

TextGrad最特别的地方在于它对变量的反馈。这些反馈被称为“文本梯度”，以信息丰富且可解释的自然语言形式提供，告诉你应该如何修改变量来改进系统。这与传统的AutoGrad方法不同，后者需要访问神经网络层内的张量。

TextGrad之所以如此有效，是因为它结合了DSPy和一种新的基于文本的自动微分方法。第一点是DSPy，第二点是通过文本梯度进行提示优化。这种方法结合了自动微分和文本空间的优化。

微软亚洲研究院的研究表明，自动提示优化通过梯度下降和束搜索在语义空间中工作。主要是通过反馈循环生成提示，LLM评估并描述当前提示的不足之处。你可以使用两个LLM，一个作为教师（如GPT-4），另一个作为学生（如GPT-3）。

它能够识别并描述GPT-3.5在特定任务中的不足之处，然后通过一系列自我改进循环来优化提示。这种方法涉及到提示编辑，也就是根据自然语言梯度反馈来调整提示，并利用另一组LLM指令以与问题相反的语义方向修改提示。

例如，如果GPT-4指出GPT-3.5的回答中缺少一个事实，那么GPT-4会给出一个指令，要求GPT-3.5在下次回答中包含新的事实，可能是某个特定的事实，并分析先前未分析的特定部分。这种反馈过程通过自然语言梯度的描述，模拟了数值优化中的梯度下降。

以一个实例来说，初始提示可能是：“请回答一个推理问题，按步骤思考，最后一行格式为：答案：值。”通过GPT-3.5进行初次测试，准确率为77%。

经过优化后，新的提示为：“请回答一个推理问题，每个项目及其数量列出，直接求和并提供简明的总结，确保最终答案明确，格式为：{ 答案：值 }。检查每个项目的相关性并处理输入中的潜在错误或歧义，最终确认总数的准确性。”用这个提示测试后，准确率提高到92%。

这种提示优化过程不仅限于提示，还可以应用于其他优化变量，如代码片段或分子设计。这种新框架生成梯度并直接优化代码变量，而不仅仅是提示配置。

这种过程被称为自然语言梯度优化，类似于数值梯度下降，但应用于语义或语言上下文。我们不需要让GPT-3.5学习新知识，只需优化其提示配置，最大化其现有性能。在这个过程中，GPT-4作为评估者，分析并指出GPT-3.5输出中的问题，并给出相应的改进建议。

然而，我们需要注意的是，GPT-3.5只能处理一定复杂程度的任务。如果GPT-4的反馈过于复杂，GPT-3.5可能无法理解和应用。并且，这种方法需要频繁的API调用，可能会导致计算开销较大。因此，建议只在特定问题上进行一次这样的优化，以找到最佳提示结构，然后再重复使用这个提示。

最后，通过这个新方法，我们能够在没有任何示例的情况下，至少达到DSPy的性能，甚至更好。尽管这个过程仍然依赖于LLM的复杂性和因果推理能力，但它提供了一个新的思路来优化提示和其他系统变量。

TextGrad实践

TextGrad不仅开源，而且易于访问。项目包含多个Jupyter笔记本，详细说明了如何将这种方法应用于各种任务，展示了相对于DSPy的显著性能改进。

我建议从第一个开始，然后进行提示优化。自己动手试试，深入了解代码，TextGrad的实现非常强大。如果你错过了DSPy的内容，现在有了TextGrad的优化和更清晰的实现。

项目使用Python编写，GitHub链接提供了详细信息。通常我们有输入、模型、损失函数和优化器。

在TextGrad中，输入是变量，模型是黑箱LLM，损失是文本损失，我们只能操作专有LLM的输入和输出，优化器是文本梯度下降模块。

有兴趣的朋友可以去试试TextGrad，看看它如何优化你的AI任务。详细信息和实现步骤可以在项目的GitHub页面找到。

TextGrad怎么工作？

斯坦福的研究团队开发了一种PyTorch代码扩展，并且它是开源的，任何人都可以使用。

简单来说，我们有两个AI系统：一个是GPT-4 Omni，另一个是我们希望优化的任何开源LLM系统。它们通过API调用来相互通信，任务是找到最佳的提示语。我们在这里进行提示工程，以在特定LLM上完成特定任务。

提示工程的重要性

为什么提示工程这么重要呢？因为像GPT-3.5这样的模型已经进行了预训练、微调，并接受了行为指令和对齐，使其在回应时表现得有礼貌。这些预训练和指令同样适用于我们更智能的LLM，即我们的评估者或教师LLM。

代码实现与使用

现在，我们有了一个非常简单的PyTorch扩展，能够自动完成这一过程。最终结果是，使用TextGrad编写代码一周后，发现其在逻辑推理任务中的表现显著优于DSPy。

示例代码

这里有一个简短的Python程序，安装TextGrad后，你需要一个OpenAI的API密钥来使用GPT-4系统。我们要优化的是一个较不智能的系统，例如GPT-3.5。

# 安装TextGrad后，获取API密钥并运行以下代码
import textgrad

api_key = "your_openai_api_key"
system_to_optimize = "gpt-3.5-20125"

textgrad.optimize(api_key, system_to_optimize

官方介绍&部署（通俗化版）

下面提供官方的文档介绍、相关资源、部署教程等，进一步支撑你的行动，以提升本文的帮助力。

TextGrad通过利用大型语言模型（LLMs）的反馈，实现了对复杂AI任务的优化。你可以把它看作是一个专门处理文本优化的PyTorch扩展，尤其在提示工程方面表现突出。

TextGrad的基本原理很简单：它通过LLMs之间的API调用，自动执行提示优化的过程，从而提升逻辑推理能力。整个过程与PyTorch的自动微分引擎AutoGrad类似，但TextGrad针对文本进行了调整。

想快速上手TextGrad？如果你熟悉PyTorch，那么你已经掌握了TextGrad 80%的内容。让我们通过一个简单的例子来走一遍关键步骤吧。

假设我们要用GPT-4来解决一个简单的推理问题：如果在太阳下晾干25件衬衫需要1小时，那么晾干30件衬衫需要多长时间？请逐步推理。

首先，我们需要获取一个初始响应：

import textgrad as tg

tg.set_backward_engine("gpt-4o", override=True)

# Step 1: Get an initial response from an LLM.
model = tg.BlackboxLLM("gpt-4o")
question_string = ("If it takes 1 hour to dry 25 shirts under the sun, "
                   "how long will it take to dry 30 shirts under the sun? "
                   "Reason step by step")

question = tg.Variable(question_string, 
                       role_description="question to the LLM", 
                       requires_grad=False)

answer = model(question)

我们会得到一个初步的答案，但这个答案可能并不准确。这时候，我们可以用TextGrad来优化这个答案：

answer.set_role_description("concise and accurate answer to the question")

# Step 2: Define the loss function and the optimizer, just like in PyTorch! 
# Here, we don't have SGD, but we have TGD (Textual Gradient Descent) 
# that works with "textual gradients". 
optimizer = tg.TGD(parameters=[answer])
evaluation_instruction = (f"Here's a question: {question_string}. " 
                           "Evaluate any given answer to this question, "
                           "be smart, logical, and very critical. "
                           "Just provide concise feedback.")
                            

# TextLoss is a natural-language specified loss function that describes 
# how we want to evaluate the reasoning.
loss_fn = tg.TextLoss(evaluation_instruction)

通过反向传播和优化步骤，我们可以得到一个更精确的答案：

loss = loss_fn(answer)
loss.backward()
optimizer.step()
answer

我们还有许多示例，展示TextGrad如何优化各种变量，如代码、问题解决方案、分子设计和提示等。

安装

你可以通过pip安装TextGrad：

pip install textgrad

资源和教程

我们准备了一些教程，帮助你快速上手TextGrad。你可以通过以下链接在Google Colab上直接运行它们：

示例	Colab链接
TextGrad基本操作介绍
优化代码片段和定义新的损失函数
提示优化
解决方案优化