2026年7月9日 周四晚上19:30,报名腾讯会议了解“如何构建自进化的动态知识库(Brain)”(限30人)
免费POC, 零成本试错
FDE知识库

FDE知识库

学习大模型的前沿技术与行业落地应用


收藏

一文搞懂大模型、RAG、函数调用、Agent、知识库、向量数据库、知识图谱、AGI的区别和联系!!...

发布日期:2024-07-02 13:10:43 浏览次数: 6314
作者:军哥说AI

微信搜一搜,关注“军哥说AI”





  背景

    

    当我们把AI大模型视作人的大脑时,调用A大模型就如同调用一个人的智慧。将AI大模型人格化,意味着它应该能够理解人类的语言(懂人话)、用人类的语言进行表达(说人话),并直接给出结果。然而,重要的是要认识到,尽管AI大模型可以提供快速的答案,但这些结果并不总是完全准确。

    在AI大模型的推理基础上,我们采用了多种技术手段来实现真正的AGI(通用人工智能),这些技术包括Prompt、RAG、Agent、知识库、向量数据库和知识图谱等。这些技术各自有其独特的作用和优势,但同时也相互关联,共同推动着AGI的发展。这些技术到底有哪些区别和联系,下图作了横向对比,接下来我们详细剖析下。



 01 大语言模型(LLM)

    


   大语言模型(LLM)是AI领域的重要支柱,通过深度学习方法利用庞大的文本数据集进行训练,从而具备了生成自然流畅语言文本以及准确理解语言深层语义的能力。这些模型广泛应用于自然语言处理任务,如文本分类、智能问答和人机交互对话等。

    过去一年,大语言模型及其在AI领域的应用受到了全球科技界的瞩目。特别是模型规模的显著增长,参数量从数十亿激增到如今的万亿级别,使得模型在捕捉人类语言微妙差异和洞察复杂本质方面更加精准。

    随着OpenAI GPT-4o的发布,我们回顾过去一年,大语言模型在多个方面取得了显著进步。这些进步包括高效吸纳新知识、有效分解复杂任务以及图文精准对齐等。随着技术的不断演进和完善,大语言模型将继续拓展其应用边界,为人们带来更加智能化、个性化的服务体验,从而深刻改变我们的生活方式和生产模式。



大语言模型拥有推理能力,TA 是一切应用的基石



 02 提示词工程(Prompt)

    


    纯Prompt技术架构可以视为与大语言模型交互的最原始、最直观方式。这种方式在任务效率上表现出色,因为有效的Prompt能够最大限度地激发模型的最佳性能。之前我们已分享过,Prompt技术是模型效果优化的两条重要路径之一(微调和RAG技术)的共同基础。OpenAI官网也提供了关于优化Prompt的教程,大家可以进一步了解。

    从更深层次来看,Prompt更像是一个引导模型展现其内部优秀性能的指南。当模型基于大量数据进行学习时,它会总结出许多in-context-learning的内部规律。一个好的Prompt能够激发这些正确的规则,从而引导模型展现出更好的性能。

    在交互方式上,Prompt技术使得大语言模型与人类之间的交互变得极为友好。它就像人与人之间的对话,你说一句,AI回应一句,简单直接,无需对模型进行复杂的权重更新或处理。这种交互方式使得人们能够更自然地与AI进行沟通和交流。




 03 检索增强生成(RAG)

    


    RAG(Retrieval-Augmented Generation)技术是一种结合检索与生成能力的知识增强方案,专门用于应对复杂多变的信息查询和生成挑战。在当前大模型时代的背景下,RAG技术巧妙地集成了外部数据源,如本地知识库或企业信息库,为AI大模型赋予了更加强大的检索和生成能力。通过这种方法,RAG技术显著提升了信息查询和生成的品质,使得AI系统能够更准确地理解和回应用户的需求。


    RAG技术的核心在于结合先进的向量数据库与大模型的智能问答能力。知识库信息存储在向量数据库中,系统能迅速检索相关片段。这些片段与大模型智慧结合,产生精确全面的回答。此技术极大提高AI处理复杂问题的准确性和响应速度,为用户带来优质高效体验。


总之,RAG 技术就是给大语言模型新知识。



 04 函数调用(Fuction Calling)

    


     大模型要实现精确的函数调用(Function Calling)需要理解能力和逻辑能力,理解能力就是对用户的Prompt提示词能够识别意图,然后通过逻辑能力给出需要调用执行的函数,具体流程如下:


1、大模型何时会调用函数 API?

    调用函数API 在交互形式上有两种方式:第一是让用户直接选择调用函数,第二是大模型会推理判断要调用的函数 API。

2、大模型怎么Function Calling调用函数 API ?

    首先把函数API的元信息(函数名称、函数描述、函数参数等)注册给大模型,让大模型学习函数集合,当用户查询时,大模型根据用户的Prompt提示词选择对应的函数API。

3、函数API谁来具体执行?

    大模型根据用户的Prompt请求确定具体的函数API后,由 Agent负责具体的执行。

4、函数API返回的内容咋处理?

    Agent把Function Calling函数 API 调用返回的结果返回给大模型,大模型进一步加工处理后返回给用户最终结果。



 05 智能体(Agent)

    


    在AI大模型时代,任何具备独立思考能力并能与环境进行交互的实体,都可以被抽象地描述为智能体(Agent)。这个英文词汇在AI领域被普遍采纳,用以指代那些能够自主活动的软件或硬件实体。在国内,我们习惯将其译为“智能体”,尽管过去也曾出现过“代理”、“代理者”或“智能主体”等译法。

    智能体构建在大语言模型的推理能力基础上,对大语言模型的 Planning规划的方案使用工具执行(Action) ,并对执行的过程进行观测(Observation),保证任务的落地执行。

举个例子来方便理解

    想象一个机器人管家。这个机器人能够理解你的指令,比如“请打扫客厅”,并且能够执行这个任务。机器人管家就是一个agent,它能够自主地感知环境(比如识别哪些地方是客厅),做出决策(比如决定打扫的顺序和方法),并执行任务(比如使用吸尘器打扫)。在这个比喻中,机器人管家是一个能够自主行动和做出复杂决策的实体。



总之,Agent 智能体 = 大语言模型的推理能力 + 使用工具行动的能力。



 06 知识库

    


    对企业而言,构建符合业务需求的知识库至关重要。利用RAG、微调等技术,可将通用大模型转变为深度理解特定行业的“行业专家”,服务于企业具体需求。这类知识库适用于多行业,如市场调研、人力资源、项目管理等。

    其技术架构分两部分:

    一是离线的知识数据向量化,包括加载数据/知识库、拆分文本、Embedding向量化处理,最后将向量化的数据块存储于VectorDB,以便于搜索。    



二是在线的知识检索返回

检索:使用检索器从存储中检索与用户输入相关的Chunk。

生成:结合问题和检索到的知识提示词,利用大语言模型生成答案。


总之,知识库是 AI 大模型应用的知识基础。



 07 向量数据库

    


    向量数据库专注于存储和查询文本的向量化表示,源自文本、语音、图像等数据。相比传统数据库,它更擅长处理非结构化数据如文本、图像和音频。在处理机器学习、深度学习中的向量数据时,其高效存储、索引和搜索高维数据点的能力尤为突出,适用于数值特征、文本或图像嵌入等复杂数据的处理。



    总之,知识库的存储载体往往是向量数据库,另外在数据存储和检索上,向量数据库以向量空间模型高效存储和检索高维数据,为 AI 大模型和 Agent 智能体提供强有力的数据支持。



 08 知识图谱

    


    知识图谱是基于实体和关系的图结构数据库,用于表示和管理知识。它采用结构化数据模型存储、管理并显示人类语言知识,通过语义抽取建立实体间的关系形成树状结构。实体如人、地点、组织等具有属性和关系,这些关系连接不同实体。知识图谱揭示知识领域动态发展规律,为学科研究提供参考。在医疗领域,知识图谱支持临床诊疗、数据整合与利用,通过实体识别、关系抽取和数据集训练,以图谱形式展示关键节点和联系,支持精准医疗决策。


    与此同时,在智能推荐、自然语言处理、机器学习等领域也具有广泛的应用。尤其在搜索引擎领域,它能够提高搜索的准确性,为用户提供更加精准的搜索结果。

  

  总之,知识图谱本质上是一种叫作语义网络的知识库,即一个具有有向图结构的知识库,其中图的结点代表实体或者概念,而图的边代表实体/概念之间的各种语义关系


        

 09 AGI

    

    AGI作为AI发展的终极愿景,旨在实现智能系统像人类一样理解和处理复杂情况与任务的能力。在此过程中,AI大模型、Prompt Engineering、Agent智能体、知识库、向量数据库、RAG及知识图谱等技术至关重要。这些技术元素相互协作,推动AI技术持续发展,为实现AGI目标奠定坚实基础。

             

    与目前常见的“窄人工智能”(ANI,Artificial Narrow Intelligence)不同,AGI能够处理多种不同的问题,而不仅仅是针对特定任务设计的算法。窄人工智能通常在特定领域内表现出色,例如语音识别、图像识别或棋类游戏等,但它们缺乏跨领域的通用性和适应性。

AGI的关键特征包括:

  • 自主学习:AGI能够从经验中学习,并不断改进自己的性能。

  • 跨领域能力:AGI能够处理多种不同类型的问题,而不仅仅是单一领域。

  • 理解复杂概念:AGI能够理解和处理抽象概念、隐喻和复杂逻辑。

  • 自我意识:虽然这一点在学术界有争议,但一些观点认为AGI可能发展出某种形式的自我意识或自我反思能力。

目前,AGI仍然是人工智能研究的前沿领域,尚未实现。许多研究者正在探索如何构建这样的系统,但存在许多技术和伦理上的挑战。


53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询

扫码登录
登录即表示您同意《53AI网站服务协议》
服务协议

欢迎您使用【53AI 官方网站】(以下简称“本网站”或“我们”)。本《会员服务协议》(以下简称“本协议”)是您(以下简称“会员”或“用户”)与【深圳市博思协创网络科技有限公司】之间关于注册、登录及使用本网站会员服务所订立的法律协议。

在您注册或登录前,请务必审慎阅读、充分理解各条款内容,特别是免除或限制责任的条款、知识产权条款、争议解决条款等。此类条款将以加粗形式提示您注意。 当您通过微信公众号授权、手机验证码验证或其他方式成功登录本网站时,即视为您已完全理解并同意接受本协议的全部内容。

一、 定义

本网站:指由【深圳市博思协创网络科技有限公司】运营的,域名为【53ai.com】的网站及相关移动端页面。

会员服务:指本网站向注册会员提供的知识库文章查阅、内容检索及其他相关增值服务。

知识库内容:指本网站发布的包括但不限于文字、图表、数据、研究报告、行业分析等数字化内容资源。

二、 账号注册与登录

登录方式:本网站支持以下登录方式,您可根据实际情况选择:

微信公众号授权登录:您同意将您的微信OpenID信息授权给本网站,用于创建或关联会员账号。

手机验证码登录:您需提供真实有效的手机号码,并通过短信验证码完成身份验证与登录/注册。

账号安全:您的账号仅限您本人使用,禁止赠与、借用、租用、转让或售卖。因您保管不善导致的账号被盗、密码泄露等损失,由您自行承担。

实名认证:根据相关法律法规要求,我们可能要求您在特定功能下完成实名认证。如您拒绝提供,可能无法使用部分或全部服务。

未成年人保护:若您未满18周岁,请在法定监护人的陪同下阅读本协议,并在征得监护人同意后使用本服务。

三、 服务内容与规范

知识库查阅权限:会员登录后,有权按照其会员等级对应的权限范围,在线浏览、检索本网站知识库中的相关文章及内容。

服务变更:我们有权根据业务发展需要,调整、变更或终止部分服务内容,并将以网站公告、公众号消息等方式提前通知。

禁止行为:您在使用服务时不得实施以下行为:

利用技术手段批量爬取、下载、转存知识库内容;

将知识库内容用于商业目的或未经授权地向第三方传播;

干扰本网站正常运行或侵犯其他用户合法权益;

发布违法违规信息或从事违反公序良俗的活动。

四、 知识产权声明

权利归属:本网站知识库中的排版设计、软件代码等内容的知识产权均归【公司全称】或原权利人所有,受《中华人民共和国著作权法》等法律保护。

有限许可:本网站授予会员一项非独占、不可转让、不可转授权的普通许可,仅限于个人学习、研究之目的在线查阅知识库内容。

侵权追责:未经书面许可,任何单位或个人不得以任何形式复制、转载、摘编、镜像、汇编或以其他方式使用上述内容。一经发现,我们保留追究其法律责任的权利。

五、 个人信息保护

我们重视对您个人信息的保护。关于我们如何收集、使用、存储和保护您的个人信息,请单独阅读 《隐私政策》。

您通过微信公众号授权或手机号验证所提供的信息,我们将严格按照《个人信息保护法》的规定处理,仅用于身份识别、服务提供及安全验证等必要用途。

您可以随时通过网站设置或联系客服行使查阅、更正、删除个人信息及撤回授权同意的权利。

六、 免责声明

内容准确性:知识库内容仅供参考,不构成专业建议。我们不对其完整性、准确性、时效性作任何明示或暗示的保证,您应自行判断并承担使用风险。

不可抗力:因自然灾害、政策法规变化、网络故障、第三方平台接口异常(如微信接口维护、运营商短信通道故障)等不可抗力导致的服务中断或延迟,我们不承担违约责任。

第三方链接:本网站可能包含指向第三方网站的链接,该等网站的内容和服务不受我们控制,请您自行甄别风险。

七、 违约责任

如您违反本协议约定,我们有权视情节采取警告、限制功能、暂停服务、注销账号等措施,并保留要求赔偿损失的权利。

如因您的违约行为导致我们遭受行政处罚、第三方索赔或商誉损失,您应承担全部赔偿责任(包括但不限于罚款、赔偿金、律师费、公证费等)。

八、 法律适用与争议解决

本协议的订立、执行和解释均适用中华人民共和国大陆地区法律。

因本协议产生的或与本协议有关的任何争议,双方应友好协商解决;协商不成的,任何一方均可向【公司所在地】有管辖权的人民法院提起诉讼。

九、 其他

本协议构成双方就本服务达成的完整协议,取代此前任何口头或书面约定。

本协议任一条款被认定为无效或不可执行的,不影响其他条款的效力。

我们对本协议享有最终解释权,并在法律允许的范围内保留随时修改的权利。修改后的协议一经公布即生效,继续使用服务即视为同意修订内容。


已查阅