聊聊 LLM 的角色扮演评测（上）

发布日期：2024-07-09 21:12:33 浏览次数： 8094

作者：机智流

微信搜一搜，关注“机智流”

随着 LLM 的快速发展，基于 LLM 的相关应用也在井喷式发展。角色扮演，作为 LLM 相关应用中最常见、最广泛的一类应用，其对于用户的体验是尤为重要的。良好的角色扮演模型可以为用户提供更细致入微的交互体验，甚至是给予用户情感上的支持。

角色扮演任务可以分为通用角色扮演与特定角色扮演两种，前者例如“请你扮演一名老师”，而后者则是类似于“请你扮演孙悟空”。尽管微调得到角色扮演 LLM 的技术路线相对清晰，但是如何评估一个 LLM 真的可以扮演好该角色却是一个较为困难的问题。

因此，我们将在本期栏目中为大家介绍3篇有关于 LLM Roleplay Evaluation，即大语言模型角色扮演评估的论文，希望可以对大家有所帮助。

RoleLLM

RoleLLM [1] 提出了第一个系统化、精细化的角色扮演基准数据集 RoleBench。RoleBench 包含 95 个英文角色（包括詹姆斯·邦德、彼得·帕克等）和5个中文角色（包括李白、孙悟空等），共有 168,093 个样本，其中通用角色扮演数据有 147,609 条，特定角色扮演有 20,484 条。数据集分为训练集和测试集两部分。

RoleBench 数据的构建主要分为五个步骤，分别为角色选取、构建角色档案、通用指令采样、原始数据生成、数据集清洗。 其中，角色档案的构建和原始数据生成步骤都使用了 GPT-4。

在测试分数计算方面，RoleBench 选择了 Rouge-L（基于公共最长子序列和 N-gram）分数来计算模型的输出与真值之间的重合度。真值包括三部分，分别为无角色扮演指令的回复、通用角色扮演指令下的回复、特定角色扮演指令下的回复。

InCharacter

相比于 RoleLLM 直接从评测 LLM 扮演某角色的相似度，InCharacter [2] 则是使用了心理量表（psychological scales）来评估角色的人格保真度。正如上图所示，InCharacter 使用了包括五大人格量表（The Big Five Inventory，BFI）、16型人格（16 Personalities，16P）在内的多种性格测试，并给出一份完整的分析结果。

InCharacter 是一个两阶段的评估框架，分为面试阶段和评估阶段。面试阶段将量表转换为一系列开放式问题，以得到 LLM 对于该问题的观点。而评估阶段则使用选项转换或专家评级的方法进行定量评估。值得注意的是，面试阶段与评估阶段都有其他 LLM 的参与。

最后，InCharacter 还讨论了该方法存在的局限性。包括但不限于面试阶段所采用的 LLM 自身的偏差、人物或虚拟人物的性格会随时间的推移而改变（虚拟人物的形象会因影视作品的发展而改变，而评测数据却停留在某个具体时间点）等等。

CharacterGLM

CharacterGLM [3] 则是为输出基于角色的多轮对话的模型引入了新的评测方式，即多维度主观评测方式。

在训练得到角色扮演 LLM 后，CharacterGLM 招募了10名标注者与这些 LLM 进行互动，并从以下六个维度进行打分。六个维度分别为：一致性（响应与任务属性一致）、人性化（响应与人类自然交流的程度）、参与度（响应吸引好奇心的程度）、质量（响应的流畅与上下文一致性）、安全性（响应是否符合道德标准）、正确性（响应是否存在幻觉）。

除此之外，CharacterGLM 还从更细粒度的角度对 LLM 的输出错误进行了分析。主要包括六个方面，分别是穿帮（out of character，OOC）、矛盾（响应与上下文或人物属性矛盾）、重复（重复上下文或人物属性中的内容）、质量较差（响应不完整）、信息量低（未提供新内容）、主动性（是否积极引导对话主题）。

尽管 CharacterGLM 这篇论文侧重于训练数据的构造过程，但是其对 LLM 进行评测的角度与方法也是值得我们学习与思考的。