我要投稿

还不会部署本地AI大模型？LangChat带你快速接入并部署本地大模型

发布日期：2024-08-24 22:40:09 浏览次数： 2374

作者：程序员涂陌

微信搜一搜，关注“程序员涂陌”

LangChat是Java生态下企业级AIGC项目解决方案，在RBAC权限体系的基础上，集成AIGC大模型功能，帮助企业快速定制知识库、企业机器人。

产品官网：http://langchat.cn/
LangChat源码：https://github.com/tycoding/langchat

还不会部署本地AI大模型？使用LangChat带你快速部署并接入本地Ollama AI大模型。

配置Ollama

Ollama是一种本地模型部署方案，Ollama简化了模型的部署方式，通过官方一行命令即可在本地下载并启动一个模型。重点：有很多不需要GPU的模型

Ollama的官网：https://ollama.com/library

例如我们想要在本地部署最新的Llama3.1模型：

首先需要安装Ollama官方客户端，然后直接执行命令：

ollama run llama3.1

默认会下载最小的模型，越大的模型对电脑配置要求越高，最小的模型一般不需要GPU也可运行（我使用的16/512 Mac book pro测试）。

下载完成后会直接运行模型，如下，非常简单，我们可以直接通过命令行对话模型：

配置Ollama

启动完成后，Ollama默认会暴露一个http端口：http://127.0.0.1:11434 。也就是我们最终会使用http://127.0.0.1:11434/api/chat 接口和Ollama模型聊天。

首先我们需要在LangChat模型管理页面配置Ollama模型信息，这里的BaseUrl必须填写上述地址，然后【模型】填写你运行的模型名称即可：

测试效果如下，在LangChat的聊天助手页面的右上角选择刚刚配置的Ollama模型即可快速使用。（注意：最终的效果完全取决于模型的能力，和模型的参数大小有关，想要更好的效果、更快的响应速度就必须配置更高参数的列表，也就必须使用显存更高的机器）

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-02-04

Agent生态碎片化终结，.agents/skills统一所有工具

2026-01-29

自建一个 Agent 很难吗？一语道破，万语难明

2026-01-28

全球首个Skills Vibe Agents，AtomStorm技术揭秘：我是怎么用Context Engineering让Agent不"变傻"的

2026-01-22

Deepagents落地场景来了：用openwork实现专属办公小管家

2026-01-05

快速上手：LangChain + AgentRun 浏览器沙箱极简集成指南

2026-01-05

为什么大模型企业都在强调可以连续工作XX小时的Agent和模型？长时运行Agent解析（Long-Running Agents）

2025-12-29

单agent落幕，双agent才能解决复杂问题！附LangGraph+Milvus实操

2025-12-28

为什么说LangGraph是企业级AI智能体的「终极答案」？

联系获取

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

文档审核Agent2.0系统落地方案：LangChain1.1+MinerU

2025-12-21

LangChain、Dify、n8n、Coze框架对比

2025-12-21

LangChain 最新agent框架deepagents测评：长任务友好，高可控

2025-11-25

让AI智能体拥有像人类的持久记忆：基于LangGraph的长短期记忆管理实践指南

2025-12-08

LangChain 1.0 入门实战教学

2025-11-08

LangChain 1.0 变革

2025-11-18

LangGraph vs. Agno-AGI：新一代AI智能体框架的全方位深度解析

2025-11-07

被 LangChain 全家桶搞晕了？LangGraph、LangSmith、LangFlow 一文读懂

2025-11-25

LangChain v1.0 模型选型：静态还是动态？一文看懂 Agent 的正确打开方式

2025-11-19

为什么大模型企业都在强调可以连续工作XX小时的Agent和模型？长时运行Agent解析（Long-Running Agents）

2026-01-05

大家都在问

不再搞Chain 设计的LangChain 1.0，与LangGraph有哪些区别？

2025-11-03

为什么我们选择 LangGraph 作为智能体系统的技术底座？

2025-10-29

LangChain创始人：如何让AI智能体（Agent）跑得更快？

2025-07-14

“你问我答”，LangChain 是怎么帮 AI 变聪明的？

2025-07-13

一文看懂 LangChain：为什么火？核心模块都干啥？

2025-07-05

LangChain的OpenAI和ChatOpenAI，到底应该调用哪个？

2025-06-26

【LangChain 团队重磅实测报告】多智能体架构揭秘：谁才是性能之王？

2025-06-13

首个落地案例！WEBTOON 用 LangGraph 构建故事理解 Agent，创作者 AI 时代的范式来了？

2025-05-21

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean

应聘简历请发送至： [email protected]

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部