企业领域知识大模型应用的知识工程实践

发布日期：2024-08-01 10:44:30 浏览次数： 3433

作者：ThinkMachine

微信搜一搜，关注“ThinkMachine”

1、模拟和复制“人类专家”的智能行为一直是人工智能的研究重点

在企业运营、社会治理活动中，有一类角色被称为“领域专家”。这类角色的工作通常基于个人或组织长期积累的专业知识和行业经验，通过对其它岗位或部门的输入，比如工作文件、对话等，进行检查、分析和评估，提供专业的评价或决策建议等输出。我们常见的工程技术评审、财税顾问、审计风控专员、律师、医生都属于这样的工作模式。

从知识工程的角度来看，这些领域专家的工作具有一些共性特点，比如:

知识密集型：这类工作高度依赖专家的隐性知识和显性知识。隐性知识包括多年积累的经验、直觉和判断力,而显性知识则包括行业标准、法规和最佳实践等。
结构化与非结构化知识的结合：评审或者评价过程通常需要结合结构化的数据和规则(如设计规范检查表、合规检查表)，以及基于语义理解的专业判断。
上下文敏感性：专家需要根据不同任务的实际情况和上下文，来解释和应用他们的知识,而不是简单地、死板的固守规则。
推理过程：有些评审工作涉及复杂、专业的计算和推理过程,包括归纳、演绎和类比推理,以得出结论和建议。
知识更新和学习：随着行业变化,专家需要不断更新自己的知识库,学习新的规则、技术和最佳实践。
跨领域知识整合：专家工作常常需要整合多个领域的知识,如技术、法律、财务等。
决策支持：专家经验的最终目的是为管理层或工作对象的决策提供支持,因此需要将复杂的专业知识转化为清晰的建议。
知识表达和传递：专家需要能够清晰地表达他们的评审结果,并有效地将知识传递给其他利益相关者。

这些特点使得领域专家能够在复杂的企业运营中发挥关键作用,为决策提供专业支持,解决棘手问题,并推动创新。然而,这些宝贵的专业知识和经验如何被高效地捕获、传承和放大？一直是企业和AI研究者们关注的重点。上世纪60年代，斯坦福大学就开发了首个聚焦领域特定知识和启发式规则的专家系统Dendral。数十年来，尽管AI领域在模拟专家工作方面取得了一系列成果,但这些方法在实际应用中仍然表现差强人意，究其原因有以下几个方面:

知识获取的难度:
从人类专家那里提取和编码知识是一个耗时且复杂的过程。专家们清晰地表达他们的隐性知识和直觉判断也是困难的挑战。这导致知识库的构建成本高昂,而且难以保证完整性和准确性。许多专家系统项目正是因为无法有效地获取和更新知识而失败。
规则的僵硬性:
基于规则的系统在处理复杂、动态变化的情况时显得过于僵硬。规则之间可能存在冲突,且难以涵盖所有可能的情况。比如在金融风控等领域,仅依赖固定规则的系统经常无法及时应对新型欺诈手段。
缺乏通用性和可迁移性:

为特定领域开发的专家系统通常难以应用到其他相关领域,即使是相似的问题也需要重新开发。这大大增加了专家系统的开发和维护成本,限制了其在企业中的广泛应用。

2、大语言模型（LLM）对于实现领域专家系统的新突破

利用预训练大语言模型(LLM)，应对传统专家系统难以克服的挑战,已成为当前极具潜力的发展路径，优势如下：

知识获取的突破:

LLM可以从大量非结构化文本中自动提取知识,大大降低了传统专家系统面临的知识获取难度和成本。
可以通过微调或提示工程,让LLM快速适应特定领域的专业知识。
灵活的处理现实世界的不确定性和模糊:

LLM的自然语言理解能力，可以基于理解上下文和语境，更好的处理现实世界中的不确定性、不一致和模糊情况,克服了传统规则系统的僵硬性。

利用多步推理实现复杂的逻辑:

通过合适的提示词和Agent技术,LLM可以执行多步推理过程,将复杂的逻辑分解为简单的推理，这更接近人类专家的思考方式。

跨领域知识整合:

大参数规模的预训练LLM已经将大量的人类知识“压缩”进模型内部，结合专业知识库和RAG，LLM能够在不同领域之间建立联系,提供跨多学科和多领域的专业分析能力。

减少幻觉、持续学习和快速更新:

通过RAG,LLM可以利用持续更新的知识库,保持最新的知识能最快在实际任务中得到应用。

自然的人机交互:

LLM的自然语言生成能力可以大大改善传统专家系统的使用模式和用户体验,使非专业人士也能轻松使用。

3、大语言模型应用开发中的知识工程关键过程

以工程项目（比如建筑、交通、能源、制造）的专业技术评审任务为例，如果要实现初级基础支持级（I级）人工智能评审支持，一般有以下实现过程：（关于大模型领域专家评审应用的成熟度分级，见后文解释。）

文档分析：

依靠专业经验，分析并设计入库工程文件的分块、分区、索引策略和元数据策略，这个过程可以使用LLM+RAG系统辅助完成。

检查表结构化：

将现有的纸质或电子版检查(规则)表转换为结构化的数据格式，如JSON/CSV/Excel规则表。
每个检查项包含查询描述、筛选条件、计算规则、判别规则、输出要求等信息，形成结构化规则模版。

提示工程：

设计一个提示模板，利用程序将检查表条目转化为大语言模型可以理解和执行的指令（提示词），对于复杂处理逻辑的规则，应拆解为多步任务；此步骤称为“提示词动态装配技术”；
例如："第一步：请在[xxxx文档]中查找满足[筛选条件]的[数据项1、数据项2、数据项n]；第二步：根据[计算规则]完成计算；第三步：依据[判别规则]输出最后结果。"

执行筛查流程：

逐项执行检查表中的规则条目。
对每个规则条目或结合多条规则的返回结果，LLM可以给出"符合"、"不符合"或"需进一步评估"的初步判断。
LLM还可以提供简短的解释或引用相关文档段落。

结果汇总：

生成一份初步筛查报告，列出所有检查项及其评估结果。
突出显示需要人工复查的条目。

人机协作界面：

设计交互界面，允许人类专家查看、修改和确认LLM的初步筛查结果。
提供反馈机制，记录人类专家的修改和反馈，用于后续模型的微调或提示词优化，不断改进系统的准确性。

这样的方法优势在于：

可以批量、快速处理大量文档和检查项。
提供了一致性的初步筛查结果。
提供了一种规则/程序分离的新方法；
可以捕捉到人类可能忽视的细节。
为人类专家提供了一个良好的起点，可以集中精力在需要深入评估的项目上。

4、不同类型规则的提示词知识表示

在专业场景下，不同类型的规则需要不同的定义和提示词表述方法，例如“输变电工程领域”：

数值型规则：

定义方法：明确的数值范围或阈值。
表述例子："110kV变电站主变压器容量应在40MVA到180MVA之间。" "输电线路杆塔基础深度不得小于2.5米。"
实现方式：可以直接用条件语句或简单的数学表达式表示。

分类型规则：

定义方法：明确的类别或选项列表。
表述例子："220kV变电站主变压器类型必须是油浸式或干式。" "架空输电线路导线类型应为钢芯铝绞线、全铝导线或钢芯铝合金导线。"
实现方式：可以使用枚举类型或预定义的列表进行表示。

逻辑关系规则：

定义方法：使用if-then结构或逻辑运算符。
表述例子："如果变电站位于海拔3000米以上地区，则必须选用防寒型设备。" "当主变容量大于等于180MVA时，必须配置第三绕组。"
实现方式：使用条件语句或简单的判别规则表示。

复合规则：

定义方法：结合多个简单规则。
表述例子："500kV变电站的主变压器容量应在750MVA到1000MVA之间，且必须为自冷式，同时具备有载调压功能。"
实现方式：使用多个简单条件组合的逻辑结构。

时序或过程规则：

定义方法：描述一系列步骤或时间相关的条件。
表述例子："变电站设备安装后，必须先进行绝缘测试，然后进行负荷试验，最后才能投入运行。"
实现方式：直接使用提示词，特别的规则可能需要使用状态机或工作流引擎来实现。

模糊或定性规则：

定义方法：使用不精确但专业的描述。
表述例子："变电站选址应考虑周边环境，尽量远离居民区。" "输电线路走廊应尽可能避开生态敏感区。"
实现方式：这类规则需要LLM的自然语言理解能力。

参照型规则：

定义方法：引用特定的标准或文档。
表述例子："变电站防雷设计必须符合GB 50057-2010《建筑物防雷设计规范》的要求。"
实现方式：需要链接到具体标准的数据库，或使用LLM理解和应用这些标准。

计算型规则：

定义方法：包含特定计算公式。
表述例子："变电站接地网的接地电阻应满足：R ≤ 0.5 Ω，其中R为接地电阻值。"
实现方式：需要实现相应的计算功能，对复杂的工程计算开发专门的算子操作。

通过以上的规则梳理，可以将专业的领域知识提取出来，注入到知识库，利用RAG实现专业评审规则应用；也可以作为精调训练数据，训练专门的领域大模型，完成专业评审任务。

以下是基于评审指导条目，输入工程设计文件内容，进行专业评审并输出报告的提示词模版。

任务：根据提供的评审指导对工程设计文件进行评审。
评审指导：1. [关键点1]: [具体要求]2. [关键点2]: [具体要求]...
工程设计文件内容：[在这里插入工程设计文件的相关部分]
请对每个关键评审点进行分析，并给出评审意见。格式如下：
关键点：[关键点描述]评审意见：[您的评审意见]建议：[改进建议，如果有的话]
请确保您的评审全面、客观，并提供具体的改进建议。