我要投稿

还不会部署本地AI大模型？LangChat带你快速接入并部署本地大模型

发布日期：2024-08-24 22:40:09 浏览次数： 2112

作者：程序员涂陌

微信搜一搜，关注“程序员涂陌”

LangChat是Java生态下企业级AIGC项目解决方案，在RBAC权限体系的基础上，集成AIGC大模型功能，帮助企业快速定制知识库、企业机器人。

产品官网：http://langchat.cn/
LangChat源码：https://github.com/tycoding/langchat

还不会部署本地AI大模型？使用LangChat带你快速部署并接入本地Ollama AI大模型。

配置Ollama

Ollama是一种本地模型部署方案，Ollama简化了模型的部署方式，通过官方一行命令即可在本地下载并启动一个模型。重点：有很多不需要GPU的模型

Ollama的官网：https://ollama.com/library

例如我们想要在本地部署最新的Llama3.1模型：

首先需要安装Ollama官方客户端，然后直接执行命令：

ollama run llama3.1

默认会下载最小的模型，越大的模型对电脑配置要求越高，最小的模型一般不需要GPU也可运行（我使用的16/512 Mac book pro测试）。

下载完成后会直接运行模型，如下，非常简单，我们可以直接通过命令行对话模型：

配置Ollama

启动完成后，Ollama默认会暴露一个http端口：http://127.0.0.1:11434 。也就是我们最终会使用http://127.0.0.1:11434/api/chat 接口和Ollama模型聊天。

首先我们需要在LangChat模型管理页面配置Ollama模型信息，这里的BaseUrl必须填写上述地址，然后【模型】填写你运行的模型名称即可：

测试效果如下，在LangChat的聊天助手页面的右上角选择刚刚配置的Ollama模型即可快速使用。（注意：最终的效果完全取决于模型的能力，和模型的参数大小有关，想要更好的效果、更快的响应速度就必须配置更高参数的列表，也就必须使用显存更高的机器）

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-09-06

沧海独家：LangChain 1.0 Alpha 架构重构全解析

2025-08-30

LangChain如何使用通义千问的向量模型

2025-08-29

Claude code prompt原来这么写的，怪不得这么厉害

2025-08-27

从LangChain到LangGraph：AI智能体提示词工程的系统化学习

2025-08-25

Agent实战教程：LangGraph相关概念介绍以及快速入门

2025-08-23

企业级复杂任务智能体构建：解锁LangChain新品Deep Agents及其UI利器

2025-08-20

使用LLamaIndex Workflow来打造水墨风格图片生成工作流

2025-08-19

让 LangChain 知识图谱抽取更聪明：BAML 模糊解析助力升级

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

LangChain创始人：如何让AI智能体（Agent）跑得更快？

2025-07-14

LangChain的OpenAI和ChatOpenAI，到底应该调用哪个？

2025-06-26

Langchain官方终极指南，如何构建AI Agent：告别空谈，六步从想法到生产级应用！

2025-07-14

使用 LangGraph 打造 Multi-Agent 系统

2025-07-16

基于LangGraph多智能体框架的共享内存实现与探索

2025-06-16

让 LangChain 知识图谱抽取更聪明：BAML 模糊解析助力升级

2025-08-19

开发AI Agent到底用什么框架——LangGraph VS. LlamaIndex

2025-06-26

【LangChain 团队重磅实测报告】多智能体架构揭秘：谁才是性能之王？

2025-06-13

一、LangGraph基础入门

2025-06-16

前端学AI之LangChain.js入门教程：实现智能对话机器人

2025-06-11

大家都在问

LangChain创始人：如何让AI智能体（Agent）跑得更快？

2025-07-14

“你问我答”，LangChain 是怎么帮 AI 变聪明的？

2025-07-13

一文看懂 LangChain：为什么火？核心模块都干啥？

2025-07-05

LangChain的OpenAI和ChatOpenAI，到底应该调用哪个？

2025-06-26

【LangChain 团队重磅实测报告】多智能体架构揭秘：谁才是性能之王？

2025-06-13

首个落地案例！WEBTOON 用 LangGraph 构建故事理解 Agent，创作者 AI 时代的范式来了？

2025-05-21

‌LangChain vs LlamaIndex：如何选择？

2025-05-19

LangChain脚本如何调度及提效？

2025-05-08

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： [email protected]

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部