《HeCiX: Integrating Knowledge Graphs and Large Language Models for Biomedical Research》(https://arxiv.org/pdf/2407.14030)
摘要
尽管药物开发策略取得了进展，但仍有90%的临床试验失败。这表明目标验证和药物优化方面存在被忽视的因素。为了解决这一问题，我们引入了HeCiX-KG，即Hetionet-Clinicaltrials neXus 知识图谱，这是ClinicalTrials.gov和Hetionet数据在一个知识图谱中的创新融合。HeCiX-KG结合了来自ClinicalTrials.gov的先前进行的临床试验数据和来自Hetionet的疾病和基因领域专业知识。这为临床研究人员提供了一种全面的资源。此外，我们引入了HeCiX系统，该系统使用LangChain将HeCiX-KG与GPT-4整合，并提高了其可用性。HeCiX在针对一系列临床相关问题进行评估时表现出色，证明了这种模型在增强临床研究效果方面具有潜力。因此，这种方法提供了对临床试验和现有生物数据的更全面视角。
关键词:
Knowledge Graph，Large Language Model，LangChain，Clinical Trials；知识图谱、大语言模型、临床试验、LangChain
1简介
制药行业在药物发现方面面临着重大挑战，临床试验的惊人失败率高达近90%。结果表明，中止率的上升不仅意味着巨大的财务损失，还延误了对患者进行救命治疗的实施。
导致这一问题的主要原因之一是现有数据的碎片化特性。Hetionet包含有关疾病、基因和解剖学的广泛领域知识，但缺乏有关先前进行的临床试验和实验的足够信息。相反，ClinicalTrials.gov收集了有关世界范围内进行的临床试验和实验的广泛信息，包括研究的首席研究员的详细信息，这有助于确定关键意见领袖(KOLs)。然而，它对疾病本身的了解有限。我们对基础生物学和临床试验结果之间的这种差异理解阻碍了有效药物开发。
为了解决这一问题，我们提出了一个新颖的知识图谱，HeCiX-KG（Hetionet-Clinicaltrials联结知识图谱），它整合了来自clinicaltrials.gov和Hetionet的信息。HeCiX-KG是一个单一的知识图谱，连接生物学知识与临床试验数据。这种整合可以提供更好的理解，揭示先前被忽略但对有效再利用和发现新药物至关重要的联系和模式。
在HeCix-KG的基础上，我们引入了HeCiX，这是一个利用OpenAI的GPT-4和LangChain的系统，可实现与知识图谱的无缝交互。HeCiX将自然语言查询转换为CQL（Cypher Query Language）查询，从而可以有效地检索知识图谱中的相关内容。随后，该系统以人类可理解的格式显示结果，使临床和生物医学研究人员能够获取信息。
我们对HeCiX在广泛相关领域的问答任务中的表现进行评估。结果显示在获取数据的范围和深度方面有显著进展，从而提供了一个有益的工具，以增强临床研究的效率，并改善药物再利用和开发的成功率。HeCiX克服了当前资源中的重大缺陷，通过将疾病生物学、临床试验历史和专家知识整合在用户指掌之间，提供了一个整体视角。
论文的结构如下。第2节和第3节描述了工作背景和知识图谱的构建。第4节介绍了详细的方法论。实验描述在第5节，随后是结果和讨论在第6节。最后，第7节讨论了结论。
2背景和相关工作
2.1生物医学研究中的知识图谱
知识图谱已成为代表和整合复杂生物医学信息的强大工具，促进高效的数据整合和知识发现。值得注意的例子包括Bio2RDF、CTKG（由Chen等人创建）、Hetionet等。它们已被用于增强药物发现，了解疾病机制和识别生物医学关系。
2.2医疗保健中的大型语言模型
大型语言模型（LLMs）已显著改善了医学文献分析、临床记录解释和诊断支持。此领域中的重要模型包括DeepMind的MedIC、微软的BioGPT [8]、TrialGPT [9]、BioBart [10]和BioMistral [11]等。它们已经影响了药物发现、患者数据分析和临床决策支持等领域。
2.3Hetionet: 一个全面的生物医学知识图谱
Hetionet是一个生物医学知识的异质网络，集成了基因、化合物、疾病及它们之间的相互关系等数据。它已被用于预测药物靶点相互作用，识别疾病机制，并支持药物再利用的工作，使其非常适合与其他数据源集成，以增强临床研究能力。
2.4ClinicalTrials.gov: 临床试验数据库
ClinicalTrials.gov是一个提供有关临床试验、对各种疾病进行的研究、首席研究员、研究地点和试验结果信息的广泛数据来源[3]。它从而支持临床研究和药物开发。
3知识图谱构建
HeCiX-KG由两个主要数据源构建而成，即Hetionet和ClinicalTrials.gov。它将它们的数据合并为单一知识源，并包含与六种特定疾病相关的数据，即白癜风、特应性皮炎、斑秃、黑色素瘤、癫痫和甲状腺功能减退症。
3.1Hetionet
Hetionet是一个高度互连的知识库，结合了来自29个不同数据库的数据。它包括总共47,031个节点，涵盖了11种类型：疾病、化合物、基因、症状、副作用、生物过程、分子功能、解剖、细胞组分、途径和药理学类[2]。为了构建HeCiX-KG，我们提取了Hetionet的一个子图，其中包含与六种选择的疾病相关的数据。这包括总共1071个节点和1125个关系。
3.2ClinicalTrials.gov
ClinicalTrials.gov提供了大量关于临床试验和各种疾病状况研究的信息[3]。虽然ClinicalTrials.gov中记录的总数超过50万，但我们的研究侧重于一个包括1,200个记录的特定子集，涵盖六种选定的疾病。构建为知识图的这个子集包含5,454个节点和11,466条边。这个子集中的节点分为9种类型：疾病、首席研究员（PI）、研究、状况、阶段、地点、干预措施、年龄和性别。连接这些节点的关系类型有10种。
3.3Schema
受 Hetionet [2] 中构建的知识图谱模式和 Devarakonda 等人的工作 [12] 的启发，我们构建了 HeCiX-KG 的综合模式。'疾病' 节点充当了连接这两个集成数据库的主要节点。这个模式已在图 1 中进行了说明。通过用我们的数据填充模式，我们获得了一个包含 6,509 个节点和 14,377 条边的知识图谱。
4Methodology方法
我们的方法包括两个主要阶段，构建HeCiX-KG和使用LangChain将其与GPT-4集成。
4.1知识图谱构建
HeCiX-KG是通过从Hetionet和ClinicalTrials.gov中提取和整合与六种特定疾病相关的数据构建的。结果知识图谱有6,509个节点和14,377条边。构建过程涉及数据提取、模式设计、实体关系映射和图谱填充。
4.2LLM使用LangChain集成
为了提高HeCiX-KG的可用性，我们开发了HeCiX，这是一个集成了我们的知识图谱和GPT-4的系统，使用LangChain实现。具体来说，我们利用了LangChain生态系统中的GraphCypherQAChain组件进行此集成。如图2所示，我们的查询处理流程如下：
用户查询输入：用户向LangChain提交自然语言提示。
查询和提示处理：用户的问题与一组提示模板结合，然后发送到GPT-4。
密码查询生成：GPT-4根据用户的输入生成密码查询，然后将其发送回LangChain。
数据库查询：LangChain在HeCiX-KG上执行生成的密码查询。
原始结果检索：HeCiX-KG将原始查询结果（“完整上下文”）返回给LangChain。
上下文转发：LangChain将完整上下文转发给GPT-4，以便进行解释并转换为人类可读格式。
生成人类可读响应：GPT-4根据发送给它的完整上下文生成人类可读响应，然后将其发送到LangChain。
用户响应：最后，LangChain将人类可读响应返回给用户，从而向用户提供其查询的答案。
图2：查询处理流程
这种集成使用户能够使用自然语言查询与复杂的 HeCiX-KG 进行交互，显著增强其对临床研究人员的可访问性和可用性。
5实验
5.1实验设置
我们的实验设置包括以下主要步骤：
1.我们建立了我们的AuraDB服务器来承载HeCiX-KG。
2.我们根据Hetionet和临床试验数据的各自结构构建了知识图的模式。
3.我们使用来自Hetionet和ClinicalTrials.gov的数据填充了模式，创建了HeCiX-KG。
4.我们使用LangChain的GraphQueryQAChain组件将HeCiX-KG与GPT-4集成起来。
5.2评估方法
为了正确评估和分析我们系统的问答能力，我们设计了一组问题回答任务，供HeCiX进行回答。这些任务经过精心设计，涵盖临床研究的各个方面，包括药物发现、KOL的识别和生物医学数据分析等。
6结果和讨论
6.1实验结果
我们利用RAGAS[14]框架来评估我们模型的性能。该框架计算了几个关键指标：忠实度、答案相关性、上下文精度和上下文召回率。我们实验的结果已显示在表1中。
表1：使用RAGAS框架的HeCiX的性能指标
| Metric | Score |
|---|
| Faithfulness | 0.8572 |
|---|
| Answer Relevance | 0.9340 |
|---|
| Context Precision | 0.9202 |
|---|
| Context Recall | 0.6654 |
|---|
6.2Comparative Analysis对比分析
除了在先前看到的评估指标上评估我们的模型之外，我们还与OpenAI的GPT-4和Anthropic的Claude 3 Sonnet进行了比较分析，在零瞄准情况下进行了比较分析。我们对这些模型进行了测试，使用了用于评估HeCiX的相同一组问题。我们发现，虽然这些模型擅长回答基于领域特定知识的问题，但在与临床试验相关的查询方面却很困难。
我们与HeCiX进行的实验展示了增强临床研究能力的有希望的结果。图3显示了与HeCiX进行的一次样本交互，在这个过程中HeCiX正在回答既涉及领域专业知识又涉及临床试验知识的问题。
6.3Limitations限制
虽然 HeCiX 已经显示出令人鼓舞的结果，但重要的是要承认它的局限性。
• 模型性能的不确定性随着知识图的扩展而增加。
• 对更广泛范围的疾病进行额外测试，以确保系统的稳健性。
7Conclusion结论
这篇论文介绍了HeCiX，这是一个创新系统，它将临床试验数据和Hetionet中的知识图与大型语言模型连接起来，以解决临床研究中的主要挑战。我们的实验表明，HeCiX改进了药物发现过程，并有效利用了现有的零散生物医学数据。HeCiX揭示了疾病、基因和治疗之间的所有可能关系，可能加速药物开发，从而导致意想不到的发现。
HeCiX 是在临床研究中使用人工智能的重大进展。我们相信 HeCiX 将在塑造生物医学研究的未来中发挥关键作用，在该领域提供一个连通且创新的生态系统。
对 HeCiX 未来增强范围可以包括将 SNOMED CT 添加到知识图谱以实现更好的临床术语标准化，并采用元路径匹配技术更有效地识别复杂关系。
粤ICP备14082021号
免费POC，
零成本试错
