本地部署的医疗大模型探索

发布日期：2024-06-19 03:55:56 浏览次数： 3895

作者：医智纵横

微信搜一搜，关注“医智纵横”

在日常生活中，许多人对大模型存在一些误解。

有人认为大模型需要高端硬件配置，非得依赖云端的GPU阵列才能运行。

有人觉得大模型就是简单的对话机器人，只能一问一答，难以与其他软件融合。

还有人认为大模型容易产生不切实际的“幻觉”，写写文章、逗乐一下尚可，但若要应用于严肃的行业则远远不够成熟。

自2023年ChatGPT诞生至今，仅仅一年多的时间里，各种创新应用如雨后春笋般涌现。这些误解，或许是因为人们对这一新兴技术的了解还不够深入。

今天，我将通过一个实例，展示大模型在医疗行业中的独特应用，希望能引发大家的深入思考和讨论。

事实上，大模型不仅可以轻松安装在个人电脑上，而且运行效率也相当可观。这里特别推荐Ollama，一个开源的深度学习框架。它致力于简化大型语言模型在本地电脑的部署流程，提供简洁易用的API，降低技术门槛，同时保持高性能和轻量化的资源占用。更重要的是，它支持多平台运行，拥有良好的可扩展性，并拥有一个活跃的社区，持续为用户提供支持与更新。

值得一提的是，Ollama提供了70多个大模型供用户免费使用！今天，我们就来体验一下阿里最新的千问大模型在医疗领域的应用潜力。

安装并运行Ollama框架。

ollama run qwen2

编写Python代码，调用Ollama的大模型（Qwen2 千问2）。

import ollamadef call_ollama(model, message):try:response = ollama.chat(model=model, messages=[message], stream=True)return [chunk.get('message', {}).get('content', '') for chunk in response if 'content' in chunk.get('message', {})]except Exception as e:st.error(f"Error calling Ollama API: {e}")return []

利用Streamlit搭建简易网页前端，实现与大模型的实时互动。

# 此段代码用于病情与病例整理的界面交互，并通过调用外部模型进行数据处理st.title = "病例整理"user_input = st.text_area('', '', height=400)# 提供一个文本区域供用户输入
# 如果用户点击“提交”按钮if st.button('整理病例'):# 构造用户输入的消息列表user_input += '请把以下资料和数据，整理为数据表格。对检验指标，请加以解释说明。 '# 向用户显示提示信息messages = [{'role': 'user', 'content': user_input}]# 调用外部模型处理用户输入response_chunks = call_ollama(model_choice, messages[0])# 将模型返回的结果合并为一个字符串final_response = ''.join(response_chunks)# 输出final_response到页面st.write(final_response)

if st.button('治疗方案'):user_input += '请寻找治疗方案和临床治疗路径，有相关文档请列出，整理后以表格形式用中文输出。 ' # 向用户显示提示信息messages = [{'role': 'user', 'content': user_input}]# 调用外部模型处理用户输入response_chunks = call_ollama(model_choice, messages[0])# 将模型返回的结果合并为一个字符串final_response = ''.join(response_chunks)# 输出final_response到页面st.write(final_response)

运行streamlit，网页应用开始运行

streamlit run Ollama_LLama.py

这个简单应用非常适合医院内疑难杂症的多学科会诊场景。医生们往往需要整理大量的检查报告、病人主诉、病史及过往治疗方案等资料。这是一项繁琐却至关重要的工作。在整理好这些材料后，医生们会进行多学科会诊，并希望了解相关病例的文献和临床路径。虽然大模型目前尚未获得行医资格，但它却能在病例资料整理、相关文献查找等方面为医生提供有力支持。

下面就是调用大模型后得出的成果，令人眼前一亮！