2026年7月9日 周四晚上19:30,报名腾讯会议了解“如何构建自进化的动态知识库(Brain)”(限30人)
免费POC, 零成本试错
FDE知识库

FDE知识库

学习大模型的前沿技术与行业落地应用


收藏

2024年,百万上下文依然没有杀死RAG

发布日期:2024-12-26 07:15:45 浏览次数: 2688
作者:量子位

微信搜一搜,关注“量子位”

每一次,当基础模型能力变强,总会有人预言:RAG(检索增强生成)或许要过时了。

但目前为止,每一次,这种预言都已落空。

比如今年2月,当第一批百万上下文长度模型出现的时候,有人说KV缓存会取代RAG。

后来大模型Agent突飞猛进的时候,又有人说10年就是以嵌入为基础的RAG的最后期限。

10年毕竟太远,现在很难说得清楚。

但有RAG存在的未来,已经业内有不少人正在积极规划:

产业界,英伟等巨头亲自下场挖掘RAG价值。

学术界,最前沿领域Agent与RAG的结合,开始被越来越多的人探讨。

为什么?

当大模型从实验室走向工厂车间、企业办公楼、教育课堂、金融后台、数据中心机房的那一刻,它需要的不止是语言理解与生成能力,还需要“读懂”企业内部海量而更新频繁的数据资源

训练本身昂贵且缓慢,大模型本体无法频繁更新,但企业知识与数据却在日新月异。

RAG正是企业数据接入大模型的数据枢纽,而将数据接入AI成为大模型时代最重要的事——

它帮助大模型实时获取最新、最契合业务场景的知识,让AI真正成为能干活、有脑子的行业助手。

换句话说,是因为RAG正在各行各业为大模型落地扫清障碍。

这里分别有教育、制造、金融行业的三位实践者,来分享他们的RAG落地经验。

教育业,需要灵活敏捷的知识迭代

先来看教育行业,特点是对知识更新迭代的需求尤其强烈

在教育行业有个常见的场景:如教研资料、题库、学科内容不断变化,仅靠训练底层模型难以与日新月异的教学信息同步。且学生提问较泛且不标准,传统关键字检索方案解决也行不通。

这时RAG成为低成本、高灵活性缓解大模型幻觉问题的最佳解决方案。

因此,行业通用做法就期望使用RAG开发框架打造智能助手,从而发挥海量课程、试题资源的数据价值,快速、准确地回答学生提问,提高在线教学效果,减少人力成本

某教企最初尝试过开源的RAG方案,然而却发现其效果不佳,构建起来也繁琐。

后来在腾讯云团队的帮助下,该教企客户基于腾讯云向量数据库进行RAG方案的落地优化,他们终于实现了在复杂、多样、动态知识库中高效检索。

过程中处理“QA对”数据的问题,给工程师留下深刻印象:

一开始语义分析的效果不是很好,经常会把多个QA对拆裂了,导致询问A问题,得到B问题的答案。

后来与腾讯云团队后来讨论出解决方案,通过定制化逻辑修正文本拆分偏差,从而得到精准检索结果。

这让教企无需频繁更新大模型本身,就能让大模型实时取用最新教研资料,给用户提供可信、更新及时的答案。

腾讯云向量数据库基于大量客户有RAG应用开发的需求,还推出了AI套件功能:一站式文档检索解决方案,支持用户直接上传原始文档,数分钟内即可快速构建专属知识库,大幅提高知识接入效率。

在合作过程中,客户也高度评价腾讯云技术支持的快速响应与产品迭代能力,体现了其技术实力和灵活性。

过去可能需要几十分钟甚至上小时的查询,如今只需秒级响应。

在教育场景中,RAG与向量数据库的结合,不仅提高检索效率,更让企业积累的教育资源充分释放价值,为学生与老师带来更高质量的智能化学习体验。

制造业,需要标准化实现流程提效与人才培养

相比教育行业,制造业更显复杂。

这里有数量庞大的技术标准、设计资料、工程图纸,还有多种多样的文档格式和数据来源,电子档、扫描件、表格、图片、CAD文档……

这些文档往往分散在各个系统、部门和节点,查找、核对和更新成本高昂。工程师培养周期长达3-5年,技术标准不断迭代,一旦出现生产问题,快速定位解决方案简直是“大海捞针”。

RAG可以帮大模型整合行业知识,但首先要解决电器行业文档多、内容复杂、图文表混排的问题,不能只有向量数据库和开发接口,还要整合端到端产品和服务。

腾讯云大模型知识引擎,基于大语言模型的知识应用开发平台,提供知识问答、知识总结等应用模版及原子能力,助力企业低门槛构建企业级知识服务。让大模型能够回答较为普世的问题,如服务于垂直专业领域,会存在知识深度和时效性不足的问题。

腾讯云大模型知识引擎帮助万榕信息打造了从原始文档中迅速获取标准和最佳实践,工程师不再耗费半天去翻阅标准合同、设计资料,而是几分钟内就能定位信息;碰到南网高海拔产品设计标准、断路器事故处理等棘手问题,AI助手根据RAG动态检索企业内部知识库、归纳处理意见,并生成报告初稿。

过去的流程极度依赖资深工程师的个人经验,如今RAG让知识得以系统化传承、动态更新和快速分享。这不仅缩短了新人工程师的上手周期(从1.5年缩短至6-8个月),还直接提升了整体工作效率(在人员不变的情况下,目标是提高40%的效率)。

RAG在制造业中带来的,是效率、成本和人才培育模式的全方位革新。

金融业,要提效、要敏捷,但更重要是安全!

金融科技是一个极其注重合规、安全与隐私的行业。

招商证券作为金融行业的龙头企业,正全面拥抱AI,自上而下地推进数字化转型。他们将“AI编程助手”作为AI技术应用的重要切入点,主要原因在于:

  • 技术成熟度:AI编程场景足够成熟,解决了研发人员在日常开发中的效率问题。

  • 明确的业务价值:AI工具的引入可以快速带来效率提升,收益显著且可量化。

在这样的背景下,简单的RAG方案远不足以满足需求,需要大模型、产品、基础设施等全面整合,提供私有化部署的解决方案。

腾讯云AI代码助手提供产品基础能力及开放式架构,为招商证券打造智能化金融科技研发工具。

腾讯云基于内部经验开发AI代码助手,通过插件形式解决开发痛点,为企业和团队提供效率提升的解决方案,同时注重灵活部署与行业需求适配

依托腾讯云的技术方案,招商证券实现了工具集成、数据安全和隐私保护,解决了金融业在AI应用落地中“好用不好管”的难题,让AI代码助手切实提高研发效率,满足日益增长的业务和监管要求。

双方的合作甚至深入到产品之外:在推广AI代码助手的过程中,招商证券与腾讯云都面临了技术变革与习惯转型的挑战。

参考腾讯云内部推广AI代码助手的经验,招商证券的推广分为两个阶段:第一阶段通过主动推广取得了初步成效;第二阶段打造体系化的推广运营机制,实现开发者自发地接受并使用AI工具。

目前,招商证券已有千余名开发人员使用AI代码助手,日活跃人数达300,代码采纳率接近20%。

招商证券希望AI代码助手能够扩展到更多垂直领域,如量化交易、模型定价、分析师等业务人员,覆盖更广泛的代码应用场景。

为什么是腾讯云?

其实,上面三个案例均来自AICon全球人工智能大会《Techo Day-RAG应用与实践》专场。各行业技术大咖们,现场交流分享了探索RAG在解决大模型幻觉中的创新策略与实战经验。

我们注意到,这些行业成功案例的背后都有身影同一个身影,腾讯云

比如前面某教企分享过的业务初期尝试开源方案未果,转而与腾讯云团队合作解决了语义分析中的问题拆分错误的等难题。

但为什么是腾讯云?

为了回答这个问题,我们也请到了腾讯云数据库副总经理罗云分享他的观点:

一是长期技术积累和内部验证。

腾讯云向量数据库并在腾讯内部已广泛应用,包括腾讯视频的版权与合规检索等苛刻场景中早已成熟运转。

自2019年持续研发,为满足深度神经网络和向量检索融合的业务需求,腾讯云不断打磨向量数据库,并在实践中推动存储与计算分离架构的落地。

这些技术与经验让腾讯云能够在面对多样化、复杂化的客户需求时快速响应、持续改进。

二是丰富的服务生态与快速迭代能力。

某教企在实现车辆安全相关QA问题时,需要定制化处理拆分逻辑——腾讯云团队快速介入、灵活解决。

万榕信息需要处理从标准文档到扫描件的多模态数据,腾讯云知识引擎也能给出针对性解决方案。

对于招商证券这种高度合规与高定制的场景,腾讯云则提供从基础数据库、到私有化部署与产品级能力的一整套方案。

总结起来就是,这样的稳定性与灵活性的并存的RAG能力,在大模型加速落地的关键阶段尤为宝贵

未来,随着产业对AI的要求不断升级,RAG本身也将持续演进。技术创新会进一步提高检索效率、提升多模态数据处理能力、降低用户使用门槛;更多场景将在RAG的赋能下实现智能化转型。

因此,当下质疑RAG过时为时尚早。RAG不仅不会消亡,反而将伴随大模型技术的深度落地而愈发重要。

在下一阶段的AI竞争中,谁能让大模型“用得起来”、数据“用得其所”、业务“跑得更快”,谁就能在产业智能的浪潮中占得先机。

53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询

扫码登录
登录即表示您同意《53AI网站服务协议》
服务协议

欢迎您使用【53AI 官方网站】(以下简称“本网站”或“我们”)。本《会员服务协议》(以下简称“本协议”)是您(以下简称“会员”或“用户”)与【深圳市博思协创网络科技有限公司】之间关于注册、登录及使用本网站会员服务所订立的法律协议。

在您注册或登录前,请务必审慎阅读、充分理解各条款内容,特别是免除或限制责任的条款、知识产权条款、争议解决条款等。此类条款将以加粗形式提示您注意。 当您通过微信公众号授权、手机验证码验证或其他方式成功登录本网站时,即视为您已完全理解并同意接受本协议的全部内容。

一、 定义

本网站:指由【深圳市博思协创网络科技有限公司】运营的,域名为【53ai.com】的网站及相关移动端页面。

会员服务:指本网站向注册会员提供的知识库文章查阅、内容检索及其他相关增值服务。

知识库内容:指本网站发布的包括但不限于文字、图表、数据、研究报告、行业分析等数字化内容资源。

二、 账号注册与登录

登录方式:本网站支持以下登录方式,您可根据实际情况选择:

微信公众号授权登录:您同意将您的微信OpenID信息授权给本网站,用于创建或关联会员账号。

手机验证码登录:您需提供真实有效的手机号码,并通过短信验证码完成身份验证与登录/注册。

账号安全:您的账号仅限您本人使用,禁止赠与、借用、租用、转让或售卖。因您保管不善导致的账号被盗、密码泄露等损失,由您自行承担。

实名认证:根据相关法律法规要求,我们可能要求您在特定功能下完成实名认证。如您拒绝提供,可能无法使用部分或全部服务。

未成年人保护:若您未满18周岁,请在法定监护人的陪同下阅读本协议,并在征得监护人同意后使用本服务。

三、 服务内容与规范

知识库查阅权限:会员登录后,有权按照其会员等级对应的权限范围,在线浏览、检索本网站知识库中的相关文章及内容。

服务变更:我们有权根据业务发展需要,调整、变更或终止部分服务内容,并将以网站公告、公众号消息等方式提前通知。

禁止行为:您在使用服务时不得实施以下行为:

利用技术手段批量爬取、下载、转存知识库内容;

将知识库内容用于商业目的或未经授权地向第三方传播;

干扰本网站正常运行或侵犯其他用户合法权益;

发布违法违规信息或从事违反公序良俗的活动。

四、 知识产权声明

权利归属:本网站知识库中的排版设计、软件代码等内容的知识产权均归【公司全称】或原权利人所有,受《中华人民共和国著作权法》等法律保护。

有限许可:本网站授予会员一项非独占、不可转让、不可转授权的普通许可,仅限于个人学习、研究之目的在线查阅知识库内容。

侵权追责:未经书面许可,任何单位或个人不得以任何形式复制、转载、摘编、镜像、汇编或以其他方式使用上述内容。一经发现,我们保留追究其法律责任的权利。

五、 个人信息保护

我们重视对您个人信息的保护。关于我们如何收集、使用、存储和保护您的个人信息,请单独阅读 《隐私政策》。

您通过微信公众号授权或手机号验证所提供的信息,我们将严格按照《个人信息保护法》的规定处理,仅用于身份识别、服务提供及安全验证等必要用途。

您可以随时通过网站设置或联系客服行使查阅、更正、删除个人信息及撤回授权同意的权利。

六、 免责声明

内容准确性:知识库内容仅供参考,不构成专业建议。我们不对其完整性、准确性、时效性作任何明示或暗示的保证,您应自行判断并承担使用风险。

不可抗力:因自然灾害、政策法规变化、网络故障、第三方平台接口异常(如微信接口维护、运营商短信通道故障)等不可抗力导致的服务中断或延迟,我们不承担违约责任。

第三方链接:本网站可能包含指向第三方网站的链接,该等网站的内容和服务不受我们控制,请您自行甄别风险。

七、 违约责任

如您违反本协议约定,我们有权视情节采取警告、限制功能、暂停服务、注销账号等措施,并保留要求赔偿损失的权利。

如因您的违约行为导致我们遭受行政处罚、第三方索赔或商誉损失,您应承担全部赔偿责任(包括但不限于罚款、赔偿金、律师费、公证费等)。

八、 法律适用与争议解决

本协议的订立、执行和解释均适用中华人民共和国大陆地区法律。

因本协议产生的或与本协议有关的任何争议,双方应友好协商解决;协商不成的,任何一方均可向【公司所在地】有管辖权的人民法院提起诉讼。

九、 其他

本协议构成双方就本服务达成的完整协议,取代此前任何口头或书面约定。

本协议任一条款被认定为无效或不可执行的,不影响其他条款的效力。

我们对本协议享有最终解释权,并在法律允许的范围内保留随时修改的权利。修改后的协议一经公布即生效,继续使用服务即视为同意修订内容。


已查阅