NAACL2024最新：DSPy开发的教学机器人，不用手写Prompt，可自适应移情反馈

您可能看了很多DSPy的文章，还是对DSPy的用法懵懵懂懂。DSPy究竟能干什么？一个成熟的DSPy应用来了，NAACL 2024 的 BEA 研讨会上来自哥伦比亚大学的华人团队发布了她们用DSPy开发的研究：使用适应性移情反应进行英语教学（2404.13764）。

图片由xiumaodalle生成

在开始介绍他们的研究之前，先给大家介绍一下，"Empathetic"（具有同理心的）这个概念，

"Empathetic"（具有同理心的）是一个形容词，源自"empathy"（同理心），指的是一个人能够理解和分享他人情感和经历的能力。这种能力不仅仅是认知上的理解，还包括情感上的共鸣。在机器学习领域，理解"empathy"（同理心）这个概念至关重要：程序和机器本身不具备这种能力，但写这些程序的人或者是写这些Prompt的作者，要在应用中体现这种能力，才能让AI应用更能理解人类。下面是对同理心及其相关概念的详细解释：

同理心的组成部分

1. 认知同理心（Cognitive Empathy）：这是指理解他人情感和思想的能力。认知同理心使我们能够理解他人的观点和情感，但不一定会与之产生情感共鸣。

2. 情感同理心（Emotional Empathy）：这是指感受到他人情感的能力。情感同理心使我们在情感上与他人产生共鸣，能够感受到他们的喜悦、悲伤、痛苦等情绪。

3. 同情心（Compassionate Empathy）：这是指在理解和感受他人情感的基础上，产生帮助他们的愿望和行动。同情心促使我们采取实际行动去帮助他人，缓解他们的痛苦或困难。

在各行各业中，同理心可以发挥重要作用，心理咨询领域这里就不展开说了，以下是其它几个主要领域的应用：

医疗保健

在医疗保健领域，同理心有助于医生和护士更好地理解病人的感受和需求，从而提供更有效的治疗和护理。这不仅能改善患者的满意度，还能增强病人的康复效果。

教育

在教育领域，教师的同理心可以帮助他们更好地理解学生的学习困难和情感需求，提供个性化的教学方法，激发学生的学习兴趣，提高教学效果。

客户服务

在客户服务领域，具有同理心的服务人员可以更好地理解客户的需求和问题，从而提供更贴心和有效的服务，提升客户满意度和忠诚度。

人力资源管理

在企业管理中，尤其是人力资源管理方面，同理心有助于管理人员理解员工的情感和需求，提供更人性化的管理措施，提升员工的工作满意度和工作效率。

司法实践

在司法实践中，律师处理客户关系时，需要理解客户的情感和需求，以便提供更有效的法律建议和支持，还有法官的调解仲裁量刑，以及刑事中的侦察审讯等等。

本文将介绍研究者是如何用DSPy构建了这个能够实时检测学生负面情绪、并提供自适应移情反馈的英语口语教学机器人。这一研究为情感计算、对话系统、语言教学等领域的融合发展提供了宝贵的思路和经验。

首先，研究者们定义了一个全新的任务:基于英语学习者的音频数据检测负面情绪。传统的语音情感识别模型往往是在以英语为母语的人群上训练的，面对非母语人群时的泛化能力有限。为解决这一问题，研究者标注了一批中国口音英语语音数据，并据此优化了一个语音情感识别模块。通过巧妙地组合输出概率、调整阈值等技巧，该模块在中国口音英语数据上取得了0.78的加权F1分数，展现出了良好的语音迁移能力。此外，他们还提出了一个简单而有效的长停顿检测算法，可以及时捕捉学生在对话中的迟疑和焦虑。这两个模块为检测学生负面情绪奠定了坚实的基础。

她们为此设计了一个整体的英语教学系统:

1、移情反馈 (Empathetic Feedback):

系统首先分析用户的语音输入，检测是否存在负面情绪或明显停顿。如果检测到，系统会给出鼓励性的反馈，比如"You've got a good grasp on English sentence structures， awesome!"

2、语法反馈 (Grammatical Feedback):

系统会分析用户的语法，如果发现错误会给出纠正建议。例如，"Maybe you meant 'I like to watch Star Trek'. You seem to be missing..."

3、用户查询响应 (User Query Response):

如果用户对反馈有疑问(如"Can you give me an example?")，系统会识别并回答这些问题。

4、对话 (Conversation):

最后，系统会将反馈与对话连接起来，继续进行英语会话练习。

接下来的关键是，如何根据检测到的负面情绪，为学生生成个性化的移情反馈。这就用到了DSPy编程模型的威力。DSPy允许灵活组合语言模型的调用，并将反馈生成分解为多个可复用的步骤。研究者首先通过ChatGPT实现了一个反馈生成器，将学生最近的三句话作为上下文输入，输出鼓励性和建设性的反馈。但如何确保这些反馈是个性化的、同理心满满的，同时还切中学生的学习痛点呢？这就需要对反馈生成的prompt进行优化了。

class StudentFeedback(dspy.Signature):
    """A student is learning English. You are assessing a spoken utterance. Provide three different responses:
    1. A supportive response that acknowledges their feelings and encourages them.
    2. A response that offers practical advice or suggestions.
    3. A response that asks a follow-up question to better understand their situation.
    Each response should be 2-3 sentences long. Be empathetic, colloquial, and natural in your language."""
    convo = dspy.InputField()

研究者提出了一套基于人工反馈(AI feedback)的prompt优化流程。他们先请GPT-4对反馈的个性化程度、同理心、可行性等维度进行评分，将其作为优化目标。然后，利用DSPy内置的贝叶斯优化器，通过自动调整人格设定、常识引入、情感表达等prompt元素，在GPT-4打分的引导下搜索最优的prompt组合。实验表明，优化后的反馈显著提升了GPT-4的各项评分，平均分从68.3提高到89.8。考虑到ChatGPT原始输出略显正式，研究者进一步加入了一个口语化改写模块，将反馈转化为更加通俗、亲切的表达。至此，一个自适应、个性化、充满移情的反馈生成流程就构建完成了。

#生成同理心反馈的核心逻辑
dspy.settings.configure(lm=DeepSeekLM())

class OfferFeedback(dspy.Module):
    def __init__(self):
        super().__init__()
        self.generate_feedback = dspy.Predict(StudentFeedback)

    def forward(self, convo):
        return self.generate_feedback(convo=convo)

def generate_empathy_rewrite(output):
    lm = dspy.settings.lm
    prompt = f"""Rewrite the following responses to sound more natural, engaging, and empathetic. Keep each response to 2-3 sentences:

除了实时反馈，该系统还针对学生犯的语法错误提供纠正意见。研究者选择了Llama语言模型，并在人类-聊天机器人对话数据上进行了语法纠错微调，使其能准确地发现和修正口语对话中的错误。考虑到学生的心理感受，他们没有直接指出错误，而是采用了更委婉的"conversational recast"策略，即重述学生的句子，巧妙地融入修正后的表达，并提供可学习的例句。这种互动式的语法反馈让学生在潜移默化中提高语言的准确性，而不会产生挫败感。

最后一个亮点是，该系统构建了一套机制来保证反馈和对话之间的自然衔接。如果学生对反馈提出疑问，系统会及时捕捉到询问意图，并调用ChatGPT进行回应；当学生满意后，再通过一个过渡模板平滑地回到原来的话题。这就像一位体贴入微的教师，随时关注学生的情绪和需求，给予支持和指导，但又不会打断学习的节奏。

研究者采用了DSPy框架（Khattab等人，2023年）来优化提示词，同时满足他们所期望的条件（优化阶段）。他们首先让GPT-4检查给定响应中是否满足了每个要求（例如，话语是否具有同理心并具有鼓励性）。这是一种人工智能反馈形式（Bai等人，2022年）。GPT-4在这个文本注释任务中看起来是成功的，这与Gilardi等人（2023年）建立的结果一致。使用这种人工智能反馈作为他们的度量标准，研究者旨在优化他们的提示词以最大化这些度量标准。DSPy提供了BayesianSignatureOptimizer，它引用了他们所期望条件的简单描述来建议样本指令和少量示例。利用这个由贝叶斯模型驱动的优化过程，研究者将保留的测试集上的度量标准从68.3（在零样本阶段）提高到了89.8。我用国内的Deepseek最新模型跑通了这个同理心预测的流程。

图片由本人提供

研究者通过初步的用户实验，评估了该系统的实际效果。14名中国学生与该系统互动，平均对话14.5轮，每人收到1.9次语法反馈和1.3次移情反馈。调查显示，用户普遍认为对话质量高(3.75/5)，语法反馈有用(3.83/5)，也感受到了系统的倾听(3.58/5)和关怀(3.08/5)。一位学生这样分享他的感受："在收到反馈后，我真切地感到被鼓舞了。我也意识到自己还有很大的进步空间，但现在多了一份信心和动力。"这些反馈为该方案的有效性提供了初步的支持。

当然，这个研究还有一些不足之处。比如负面情绪检测的准确率有待提高，长对话的上下文信息还没有充分利用，反馈的连贯性也有优化空间。但瑕不掩瑜，该研究创新性地将语音情感计算、对话系统、提示学习等前沿技术融为一体，攻克了英语教学机器人领域的难题，为提升学生的学习体验和教学效果开辟了新的路径。同时，DSPy的引入让整个流程的开发、调试、迭代变得更加模块化和高效，体现了语言模型编程范式的优势。

同理心是智能教育系统的未来方向。随着大语言模型不断发展，教育工作者和AI研究者携手并进，DSPy或许是一种有效范式成为此类AI应用的标配。本文代码我放在了群里，群里还有更多DSPy代码等你来讨论。