Meditron：基于 Llama 完全开源的医学大语言模型 性能优于所有开源模型

Meditron 是一款专为医疗领域设计的开源大型多模态基础模型套件。它基于 Meta Llama 2 构建，是一种利用人工智能技术来辅助临床决策和诊断的工具。

Meditron 通过提供基于证据的护理建议和具有情境意识的推荐，帮助医疗工作者在诊断和治疗过程中做出更准确的决策。

该模型特别适用于资源有限的医疗环境，能够支持那些最需要但常常被忽视的地区。例如，在紧急情况下快速提供医疗响应，或在基础设施不足的地区辅助医疗工作。

EPFL 的计算机与通信科学学院和耶鲁医学院的研究人员联合开发了 Meditron 项目，他们与国际红十字会等人道主义组织紧密合作。这种跨学科及跨机构的合作模式增强了项目的实用性和影响力。

Meditron 在发布后的前几个月内被下载超过30000次，显示了其在全球尤其是低资源医疗环境中的广泛需求和接受度。这表明 Meditron 成功地填补了这些环境中医疗创新的重要空白。

随着最近 Meta Llama 3 的发布，研发团队在24小时内完成了对新的8B模型的调整，发布了 Llama-3 8B-MeditronV1.0。这个新版本在 MedQA 和 MedMCQA 等标准基准测试中的表现优于所有同类的开源模型，突显了其技术的先进性和应用的高效性。

Meditron 解决了几个主要问题，特别是在低资源医疗环境中：

1. 信息获取困难： 在许多低资源地区，医疗工作者面临信息不足的问题，难以获得最新的医疗知识和指南。

   Meditron 通过提供一个基于最新医疗数据和实践的智能决策支持系统，帮助医生和医疗工作者获得关键的诊断和治疗信息。

2. 诊断不准确和延误： 医疗误诊和诊断延误在资源有限的地区尤为常见，这往往因为缺乏专业设备或专家知识。

   Meditron 通过其高性能的模型提供准确的诊断支持，改善这一情况。

3. 医疗服务不均等： 全球医疗资源分布极不均衡，低资源地区的医疗服务质量远低于发达地区。

   Meditron 作为一个开源项目，使得全球任何地区的医疗机构都能够利用这一先进技术，无需重大投资，从而帮助减少全球医疗服务的不平等。

4. 紧急医疗响应不足： 在突发公共卫生事件和灾害响应中，快速有效的医疗决策至关重要。

   Meditron 可以在这些情况下提供快速、准确的医疗建议和诊断，支持救治和决策。

5. 开源生态系统的发展： 许多开发中地区和低资源环境缺乏参与和利用先进技术的机会。Meditron项目完全开源，包括数据、模型权重和配置，使全球研究人员和开发者可以自由访问和修改使用和改进这一技术，推动本地创新和适应性发展。

Meditron核心功能包括

1. 临床决策支持：Meditron 提供实时的临床决策支持，帮助医疗专业人员在诊断和治疗过程中做出更好的决策。这包括基于最新医疗研究和实践的推荐。

2. 多模态诊断辅助：除了文本分析，Meditron 还整合了图像解释能力，能够分析医学影像，如X光或MRI图像，辅助医生进行更准确的诊断。

3. 访问医疗知识库：通过整合大量的医疗文献和临床研究资料，Meditron 使医疗工作者能够快速访问到广泛的医学知识，特别是在资源受限的环境中。

4. 紧急医疗响应支持：在紧急医疗情况下，Meditron 可以提供快速的诊断建议和处理方案，支持急诊医疗服务和灾难响应。

5. 教育和培训：Meditron 也可以用作医疗教育和培训工具，通过模拟病例和交互式问答，帮助医学生和年轻医生学习和实践医疗技能。

6. 全球医疗合作与创新推动：作为一个开源项目，Meditron 促进了全球医疗合作，使研究人员、开发者和医疗工作者能够共享数据、工具和经验，共同推进医疗技术的创新和应用。

技术保证

1. 多模态基础模型

• Meditron 是基于 Meta Llama 模型构建的，这是一种大型语言模型，能够处理和理解大量文本数据。

• Meditron 利用这些基础模型的能力，整合了文本和图像数据处理功能，使其能够更全面地支持医疗决策。

• 持续预训练

• Meditron 在预训练阶段不断更新模型的所有参数，而不仅仅是针对特定子集进行微调。

• 这种方法帮助模型更好地保留医学知识，减少通用文本语料库可能带来的偏差和污染。

• 开放源代码和全面可访问性

• 项目完全开源，包括数据、模型权重和配置，使全球研究人员和开发者可以自由访问和修改。

• 提供清晰的入门文档，降低使用门槛，鼓励全球范围内的创新和应用。

• 基于证据的医疗推荐

• Meditron 在提供建议时依据最新的医疗指南和已验证的医学数据，确保其推荐的医疗实践是基于证据的。

• 模型性能优化和校准

• 通过在标准医学基准测试（如 MedQA 和 MedMCQA）中对比其他模型，不断优化和调整 Meditron，确保其在各种医疗任务中的表现。

• 实际应用测试与社区反馈

  
  

• 通过大规模在线开放验证和评估（MOOVE）程序，让全球的医生和医疗专家参与到 Meditron 的测试中，收集反馈以持续改进模型。

训练数据

Meditron 的医学训练数据是通过精心策划的多来源数据集组合而成，这些数据集专门适应和增强医学领域的应用。以下是 Meditron 使用的主要训练数据来源：

1. 临床指南

• 数据源：

  包括来自各种医疗相关机构如医院和国际组织的46,000份临床实践指南。

• 用途：

  这些高质量的临床指南为模型提供了丰富的、实践验证的医疗知识，帮助模型学习和内化最佳的医疗实践和治疗方案。

2. 论文摘要

• 数据源：

  从 PubMed 和 PubMed Central 提取的约16.1百万篇论文摘要，这些摘要涵盖了封闭获取和公开获取的论文。

• 用途：

  摘要为模型提供了最新的医学研究成果和发现，增强了模型在医学研究领域的深度和广度。

3. 医学全文论文

• 数据源：

  从5百万篇公开获取的 PubMed 和 PubMed Central 文章中提取的全文。

• 用途：

  全文提供了比摘要更深入的知识和数据，支持模型在理解复杂医学概念和上下文中的深度学习。

4. 通用域预训练数据

• 数据源：

  从 RedPajama-v1 数据集中抽取的4亿个令牌的数据。

• 用途：

  这些通用域的数据帮助模型在处理广泛的语言和文本类型时保持灵活性和适应性。

数据下载与预处理

Meditron 提供了专门的脚本（例如 download.sh），使用户能够下载并预处理整个 GAP-Replay 语料库。这包括：

• 从 HuggingFace datasets hub 数据集中心下载公开获取的文章。

• 运行脚本以清理和整理所有46,000份指南，包括那些来自封闭来源的指南。

评估结果

1. 基准测试性能：

   
   

   Meditron 在标准医学基准测试如 MedQA 和 MedMCQA 上的表现超过了所有同类的开源模型。这些测试通常包括医学问答等复杂任务，旨在评估模型对医学知识的理解和应用能力。

   
   

   在包括 MedQA 和 MedMCQA 在内的标准医学基准测试中，Llama-3[8B]-MeditronV1.0 的性能超越了所有同类开放模型。

   
   

   该模型还优于 Llama-2[70B]，并接近目前70B参数级别医学领域领先的开放模型 Llama-2[70B]-Meditron 的性能，达到其90%以上。


实际临床应用测试：

• 在真实世界的临床环境中，Meditron 也进行了测试，以验证其诊断建议的实用性和准确性。

  这包括与医疗专业人员合作，通过实际的医疗场景来测试和评估模型的反应和效果。

• 大规模在线开放验证和评估（MOOVE）：

• Meditron 设立了一个名为 MOOVE 的大规模在线开放验证和评估平台，允许全球医生和医疗工作者提出挑战性的问题并评估其回答。

  这一过程不仅测试了 Meditron 的应答能力，还提供了一个反馈循环，帮助开发者根据实际使用情况调整和优化模型。

• 多模态功能测试：

• Meditron 的图像解释能力也接受了严格测试，尤其是在对医学影像（如 X 光或 MRI 图像）的分析方面。

  测试结果显示，Meditron 在某些情况下甚至超过了更大规模模型的性能，如对比 562B 的 Medpalm M 模型。