arXiv｜​​​用于电力系统的大型基础模型（大语言模型）

1. 引言

随着人工智能技术的快速发展，大型基础模型如大型语言模型（Large Language Models，LLMs）在各领域展现出强大的应用潜力。本文探讨了这些模型在电力系统建模和运行中的应用前景。研究表明，大型基础模型可以有效提升电力系统运行效率和可靠性。

大型基础模型基于Transformer神经网络架构，通过前所未有的计算规模和数据量进行训练。这使得它们在推理、抽象、理解和预测等多个领域展现出卓越的泛化能力。与传统机器学习模型不同，大型基础模型可以应对广泛的格式自由查询，无需进行任何特定任务的数据收集或模型训练，为大规模电力系统的建模和运行创造了各种研究和应用机会。

1. 大型基础模型在电力系统中的应用方法

为探索大型基础模型在电力系统中的应用潜力，设计了一系列应用流程，并在多个电力系统建模和运行任务上验证了其性能。主要任务包括最优潮流计算、电动汽车充电调度、能源领域文档理解和利用多模态能力进行态势感知。

2.1 最优潮流计算（Optimal Power Flow，OPF）

研究人员开发了一个名为LLM4OPF的框架，利用大型语言模型直接通过自然语言交互来求解简化的OPF问题。该框架通过迭代生成新的解决方案，并评估其是否满足约束条件。LLM4OPF的工作流程如图1所示，包括检索数据、输入提示、生成新解决方案、评估约束满足情况、计算成本、存储解决方案-成本对，最后输出具有最小成本的解决方案。

2.2 电动汽车充电调度

研究人员提出了LLM4EV框架，该框架利用大型语言模型作为用户和电动汽车充电控制算法之间的中介。这使得根据用户偏好设置最优调度模型变得更加简单。LLM4EV的工作流程如图2所示，包括描述任务、用户查询、要求用户输入参数、用户响应、生成代码以调用函数、Python解释器执行，最后向用户解释结果。

2.3 能源领域文档理解

研究人员构建了LLM4Doc流程，用于处理和检索电力系统文档中的知识。该流程采用检索增强生成（Retrieval-Augmented Generation，RAG）技术和提示工程（Prompt Engineering，PE）作为核心机制。RAG是一种基于自然语言生成和信息检索的混合机制，能够通过从有价值数据语料库中提取信息来丰富LLMs的知识。LLM4Doc的工作流程如图3所示。

2.4 利用多模态能力进行态势感知

研究人员提出了LLM4SA框架，利用GPT-4V的多模态能力实现基于场景图像的态势感知。该框架通过上下文学习和提示工程来实现零样本/少样本场景理解。多模态模型能够连接不同数据类型（如语言、视觉等）的学习表示，从而获得更全面的理解并生成适当的响应。

1. 实验结果与分析

3.1 最优潮流计算

研究人员在5个发电单元的测试案例上评估了LLM4OPF的性能，并与Gurobi求解器进行了比较。结果表明，LLM4OPF能够通过迭代优化来最小化成本。图3(a)和图3(b)展示了实验结果，其中只存储和绘制了满足约束的解决方案。如表1所示，LLM4OPF获得的成本和发电机输出值与Gurobi优化器得到的结果非常接近。此外，当提供相关问题的解决方案时，LLM4OPF能够以更少的优化步骤实现新任务的解决。这些结果展示了大型语言模型在解决优化任务方面的强大能力。

3.2 电动汽车充电调度

研究人员进行了一项测试案例，包含5个充电会话和20个时间步长，以评估LLM4EV框架的性能。结果表明，GPT-4能够根据提供的函数和任务描述智能地生成精确的问题来询问用户。即使用户以自然语言提供答案，GPT-4也展示了强大的理解能力并生成相应的代码。图4展示了LLM4EV的实验结果。

3.3 能源领域文档理解

研究人员将LLM4Doc流程应用于177页的联邦能源管理委员会（Federal Energy Regulatory Commission，FERC）第901号令。实验结果表明，采用RAG技术的GPT-4能够处理大型能源背景文档的深层理解。图6展示了两个技术问题回答的比较结果。如图所示，在没有RAG的情况下，GPT-4无法理解相对复杂的技术短语。而在使用RAG后，GPT-4不仅能够详细解释技术词汇，还能解释其重要性或目的。这有助于理解技术报告并将特定的电力系统知识嵌入到基础模型中。

3.4 态势感知

研究人员利用GPT-4V的多模态能力实现基于卫星图像的野火检测。实验设计了4种方法，包括单图像查询、应用提示工程、多个图像示例作为工程提示，以及添加与真实标签相关的语言解释。图5展示了方法3的一个示例。实验结果显示，方法4达到了最高的91%准确率，证明了GPT-4V能够利用多模态信息来提高性能。方法3达到了86%的准确率，也表明了少样本提示的有效性。然而，值得注意的是，GPT-4V在特定图像分类任务上的性能仍然略逊于标准机器学习模型，如卷积神经网络（94%准确率）和随机森林（96%准确率）。

1. 局限性与未来展望

尽管大型基础模型在电力系统应用中展现出巨大潜力，但作者也指出了一些局限性，如表2所示。

在最优潮流计算方面，LLM4OPF框架存在计算开销大的问题，需要多次迭代才能收敛。此外，目前只能对单个负载样本进行优化，这限制了其在实际应用中的适用性。未来研究可以考虑改进初始化方法和设计少样本提示，以及探索跨批次系统条件的少样本学习和推理技术。

对于电动汽车充电调度，LLM4EV框架目前依赖于特定的代码模板，当需要更改问题建模时，需要引入新的函数。为增强框架的灵活性，未来可以考虑扩展函数库以适应各种问题建模，使系统能够更好地适应不同的电动汽车充电场景。

在知识检索方面，LLM4Doc流程存在答案不一致性的问题，可能生成不同但有用的答案集。此外，由于模型仅限于给定文档的知识，缺乏特定领域的深入理解。未来研究可以考虑采用集成学习方法和改进模型对齐技术，同时在特定领域或私有数据集上进行微调，以增强模型对电力系统专业知识的理解。

在态势感知方面，LLM4SA框架在处理非结构化和多源输入数据时面临挑战，如仪表读数、图像快照等。由于测量数据来自异构设备和数据源，难以为基础模型对齐。未来研究可以探索如何整合不同模态（如相量测量单元数据和图像）提供的互补"视图"，以促进电力系统态势的整体理解。这可能涉及开发新的多模态融合技术和特定于电力系统的预训练任务。

1. 结论

本研究探索了大型基础模型在电力系统中的应用前景、潜力和挑战，通过一系列实验验证了这些模型在最优潮流计算、电动汽车充电调度、能源领域文档理解和态势感知等任务中的性能。研究结果表明，即使不进行微调或进一步训练，大型语言模型和多模态模型也能在电力系统应用中提供显著的性能提升。

大型基础模型的强大能力为系统运营商、政策制定者和终端用户提供了高效的工具，有潜力提高电力系统建模的准确性、简化复杂的调度问题、增强文档理解能力，并提供更全面的系统态势感知。然而，这些模型在工业部署方面仍处于初始阶段，需要对模型行为进行更深入的理解，并在实际场景中进行全面评估和测试。

未来研究方向包括：

1. 改进模型的有效性和效率，特别是在处理大规模电力系统数据时。

2. 扩展模型的适用场景，使其能够处理更多样化的电力系统问题。

3. 探索如何更好地整合和利用多模态数据，以增强电力系统的整体理解和运行。

4. 开发特定于电力领域的预训练任务和微调策略，以提高模型在专业任务上的表现。

5. 研究如何确保模型输出的可解释性和可靠性，这对于电力系统的安全运行至关重要。

随着技术的不断进步和更多实际应用的积累，大型基础模型有望在电力系统的智能化和可靠性提升方面发挥越来越重要的作用，为电力行业的发展带来新的机遇和挑战。