2026年7月9日 周四晚上19:30,报名腾讯会议了解“如何构建自进化的动态知识库(Brain)”(限30人)
免费POC, 零成本试错
FDE知识库

FDE知识库

学习大模型的前沿技术与行业落地应用


收藏

数据库将成为下一波受 AI 影响最大的行业

发布日期:2025-01-15 13:06:40 浏览次数: 2718
作者:InfoQ数字化经纬

微信搜一搜,关注“InfoQ数字化经纬”


“很多业务的数据库分配它一个 CPU 都浪费,但是还不能停,我们内部大概有几百个这样的实例,隔离性是很好,但是成本太高了。”例如,OA 系统每天可能只有 3 个请求,但无法确定这 3 个请求什么时候会来,虽然这个系统很重要,却会占用多余资源,造成浪费。
这是某城商行在数据库应用过程中非常大的一个挑战,并且不是个例,很多不同行业的企业都面临着类似的问题。与此同时,除了资源利用率的困境之外,近年来,企业对数据库提出了越来越多的精细化需求,比如如何在不影响业务负载的情况下更快地扩容,再比如优先满足重要业务需求的前提下,如何将剩余资源合理分配给其它业务等等。
“十年前 TiDB 诞生的时候,是希望解决 MySQL 在面对数据量快速增长时所遇到的挑战,而现在的种种经验表明,客户的需求已经远远超越了这一要求,他们的关注点完全不一样了。”PingCAP 联合创始人兼 CTO 黄东旭在日前的媒体沟通会上表示。
回顾十年前 TiDB 架构设计之初,黄东旭表示,当年最正确的决定就是做了分层设计。换言之,其计算引擎、分布式存储、存储介质之间是分层的,针对上述企业提出的一系列痛点时,可以迅速基于云技术满足其需求。
那么,在面对滚滚而来的 AI 浪潮时,TiDB 的底层技术逻辑还是否同样具备这样的前瞻性?下一代数据库内核又有哪些关键的设计要点呢?
“为了未来十年更好地发展,我们必须向前再迈进一步。”黄东旭强调。
AI 业务的本质仍是数据业务
在黄东旭看来,如今很多 AI 业务,其本质仍然是数据业务,虽然大部分的创新故事都聚焦于大模型和人工智能,但最终,在创新真正落地和应用过程中,都需要依靠数据技术来支撑和实现。
最近 AI 数据分析平台 Databricks 的百亿美元融资同样印证了这一点——据了解,Databricks99% 的营收仍来自数据业务,Data+AI 的融合趋势超出业界预期。
自 2023 年 ChatGPT 横空出世之后,AI 经历了从“Amazing”到“x Everything”的演变,业界开始不断思考并付诸实践,希望可以利用 AI 能力改造现有应用。那么,下一个阶段是什么样的呢?黄东旭认为,未来 AI 的核心在于 From “AI” to “Your Own AI”,使 AI 能够访问并有效利用人与世界互动所产生的数据。“这里的关键不在于 AI 本身,而在于数据的来源、存储方式和使用策略。”
对此,黄东旭及其团队曾尝试使用高质量行业数据和个人数据,基于开源基础模型进行微调,探索数据增强和开发微调工具链的可能性,最终得出两个结论:第一,微调的方向是不可控的;第二,每一次微调的时间周期非常长,如果效果不佳就需要重新再来,迭代速度慢,且成本非常高。
经过一系列尝试,其证明了当下以及在可预见的未来,能够让大模型真正发挥作用的只有一条路,就是 RAG。“在 RAG 的商业模式中,使用哪个大型语言模型并不重要。我们今天可以用 Llama,明天可以用 OpenAI,后天可以用 Databricks 的模型,这些模型本身并没有本质区别。真正宝贵的是什么?是数据。很快,整个世界将会发现,数据库将成为下一波受 AI 影响最大的一个行业。”
但是,旧瓶装不了新酒,大模型和 RAG 对数据基础设施也提出了新的要求:
一方面是向量索引,黄东旭指出,一个优秀的 RAG 应用需要整合向量搜索、检索、知识图谱等多种技术。2025 年主流的数据库都会支持向量索引类型,单独的向量数据库的市场增长会停滞。
另一方面,它还需要记录与系统的交互记录,包括公司文档、TiDB 产品文档以及结构化数据等,这些元素共同构成了 RAG 应用的核心,使其能够有效地理解和响应用户的查询。一个能够实现一站式服务的,多模态的数据库解决方案会越发流行。
为确保自己在新浪潮下“不掉队”,PingCAP 近日发布了 TiDB 最新的长周期支持——TiDB v8.5 LTS。
意料之中的是,TiDB 8.5 引入了强大的向量搜索功能,适用于 RAG、语义搜索、推荐系统等多种应用场景。并且,TiDB 的向量搜索 SQL 语法与 MySQL 语法风格一致,使得熟悉 MySQL 的开发者也能轻松构建 AI 应用。
事实上,早在 2019 年的 TiDB DevCon 上,黄东旭就曾用下图(图 1)指出未来 5 年 TiDB 不仅要支持图索引,还要支持向量索引和全文索引。“虽然那时还没有大语言模型,但我们已经将向量搜索纳入了产品蓝图中。可以看到,如今我们也正沿着这个方向努力,最终这些功能都将由 TiDB 来提供。”

图 1

图 2

未来的数据库长什么样?
当然,向上支持 AI 应用只是数据库“职能”的一部分,作为基础设施,黄东旭强调下一代数据库还应当具备足够的可扩展性、灵活性、成本效益和简洁性
以 SaaS 客户为例,很多企业向 TiDB 提出了支持创建上千万表、库的需求。这背后展示的不仅仅是数据量大小的可扩展性,而是更多数据维度的可扩展性,包括能保持的连接数,支持的表库数量,后台任务(例如 DDL)的扩展性,导入导出和 CDC 任务的速度和吞吐,多租户下的可观测性和运维性等等。
目前,TiDB 8.5 版本每个集群支持超过 100 万张表,并确保跨租户的一致查询性能。这项能力对于采用多租户架构和处理多样化工作负载的应用至关重要。
灵活性方面,进入 AI 时代发起数据请求的主体将从人变成 AI,这意味着数据库必须跳出过去的固有限制。“当需要提供千人千面的个性化服务时,就不能用固化的思路来解决问题,数据库本身的限制会反过来变成应用层面的限制。比如,你不能告诉 AI,我的底层数据库只支持静态的表。”黄东旭表示。
与此同时,随着数据量和数据维度的爆发式增长,规模和灵活性两个因素叠加将带来指数级的复杂性。对此,PingCAP 坚定地认为,未来的数据库一定是云原生与 AI 的结合,而下一代数据库内核关键的设计要点涉及两个方面:
第一,使用对象存储多 OLTP 引擎,借此可以规避分布式存储引擎带来的异常检测、数据搬迁等复杂性问题,同时最大限度地降低成本。黄东旭举例,过去的数据库是一个独立的软件,而今天在云上重新设计系统时,它们变成了一组微服务的组合,每个模块都在自我迭代,只需保持 Serverless 接口的稳定性。
第二,实现真正的多租户。“如今很多数据库厂商谈多租户时只谈隔离性,但隔离往往是容易解决的,其中最具挑战的问题是在多租户基础上实现资源共享。”正如文章开头举例,很多企业希望在保证重要业务 100% 安全可靠隔离的情况下,在逻辑上把资源分配给其它优先级更低的业务使用。黄东旭表示,这恰恰是 TiDB 独创的能力。
举例来说,TiDB 8.5 也增强了资源组的管理能力,允许根据不同业务应用的需求设置资源使用上限,并控制后台任务的资源消耗,确保在高并发情况下关键业务负载的服务质量得到保障。这也是 TiDB 能够帮助企业实现成本效益的重要抓手。
“对于新一代引擎,其重点在于未来 3 年内的持续迭代、创新和验证,最终,我们希望可以逐步演进到‘TiDB one’的状态。对于开发者而言,最大的挑战之一是如何用单一数据库解决各种复杂问题,如果能够有一个 All-in-one 的解决方案,将极大地简化开发者的工作。”黄东旭强调。
TiDB V9“剧透”
遵循“All-in-one”这一目标和愿景,PingCAP 研发副总裁唐刘透露,明年发布的 TiDB V9 版本将继续专注于内部的优化和能力增强。具体来说,将在以下几个方面发力:
第一,稳定性,持续改进 TiDB 的内存控制机制,尽可能减少 OOM(Out Of Memory)错误的发生,确保系统的稳定运行;
第二,自动执行优化,TiDB V9 将引入类似于 Oracle SPN(Stored Procedure Native Compilation)的技术,实现自动化的性能优化;
第三,性能提升,TiDB V9 将正式发布多模混合搜索(Hybrid Search)功能,进一步提升 TiDB 的搜索能力;
第四,Cascades 优化器改进,确保在提升性能的同时,保持高度的稳定性;
第五,继续关注可扩展性,基于 8.5 版本的可扩展性基础,通过 TiCDC 和用户的业务生态进行对接,同时,基于海量数据加速批量 DDL,让整个业务的变得更加敏捷,支持企业业务的快速发展。
唐刘表示,过去十年的时间里,PingCAP 始终在探索和实践,并且努力寻找一个问题的答案——什么才是“好的数据库”。如今他的答案是,一个“好的数据库”首先要具备广泛的全球化应用,拥有大量的全球客户,并且始终专注于产品最核心的基本能力,持续不断地为客户创造价值,真正帮助用户的业务实现持续增长。
而对于 TiDB 来说,从产品创建和社区建设初期,到规模化商业化和出海阶段,从全面拥抱云原生技术,再到如今又全面拥抱 AI,可以看到,其正在不遗余力地朝着“All-in-one Database”的方向发展,提供全面的服务。这将是 TiDB 打造下一阶段的“好数据库”的新方向和新起点。


53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询

扫码登录
登录即表示您同意《53AI网站服务协议》
服务协议

欢迎您使用【53AI 官方网站】(以下简称“本网站”或“我们”)。本《会员服务协议》(以下简称“本协议”)是您(以下简称“会员”或“用户”)与【深圳市博思协创网络科技有限公司】之间关于注册、登录及使用本网站会员服务所订立的法律协议。

在您注册或登录前,请务必审慎阅读、充分理解各条款内容,特别是免除或限制责任的条款、知识产权条款、争议解决条款等。此类条款将以加粗形式提示您注意。 当您通过微信公众号授权、手机验证码验证或其他方式成功登录本网站时,即视为您已完全理解并同意接受本协议的全部内容。

一、 定义

本网站:指由【深圳市博思协创网络科技有限公司】运营的,域名为【53ai.com】的网站及相关移动端页面。

会员服务:指本网站向注册会员提供的知识库文章查阅、内容检索及其他相关增值服务。

知识库内容:指本网站发布的包括但不限于文字、图表、数据、研究报告、行业分析等数字化内容资源。

二、 账号注册与登录

登录方式:本网站支持以下登录方式,您可根据实际情况选择:

微信公众号授权登录:您同意将您的微信OpenID信息授权给本网站,用于创建或关联会员账号。

手机验证码登录:您需提供真实有效的手机号码,并通过短信验证码完成身份验证与登录/注册。

账号安全:您的账号仅限您本人使用,禁止赠与、借用、租用、转让或售卖。因您保管不善导致的账号被盗、密码泄露等损失,由您自行承担。

实名认证:根据相关法律法规要求,我们可能要求您在特定功能下完成实名认证。如您拒绝提供,可能无法使用部分或全部服务。

未成年人保护:若您未满18周岁,请在法定监护人的陪同下阅读本协议,并在征得监护人同意后使用本服务。

三、 服务内容与规范

知识库查阅权限:会员登录后,有权按照其会员等级对应的权限范围,在线浏览、检索本网站知识库中的相关文章及内容。

服务变更:我们有权根据业务发展需要,调整、变更或终止部分服务内容,并将以网站公告、公众号消息等方式提前通知。

禁止行为:您在使用服务时不得实施以下行为:

利用技术手段批量爬取、下载、转存知识库内容;

将知识库内容用于商业目的或未经授权地向第三方传播;

干扰本网站正常运行或侵犯其他用户合法权益;

发布违法违规信息或从事违反公序良俗的活动。

四、 知识产权声明

权利归属:本网站知识库中的排版设计、软件代码等内容的知识产权均归【公司全称】或原权利人所有,受《中华人民共和国著作权法》等法律保护。

有限许可:本网站授予会员一项非独占、不可转让、不可转授权的普通许可,仅限于个人学习、研究之目的在线查阅知识库内容。

侵权追责:未经书面许可,任何单位或个人不得以任何形式复制、转载、摘编、镜像、汇编或以其他方式使用上述内容。一经发现,我们保留追究其法律责任的权利。

五、 个人信息保护

我们重视对您个人信息的保护。关于我们如何收集、使用、存储和保护您的个人信息,请单独阅读 《隐私政策》。

您通过微信公众号授权或手机号验证所提供的信息,我们将严格按照《个人信息保护法》的规定处理,仅用于身份识别、服务提供及安全验证等必要用途。

您可以随时通过网站设置或联系客服行使查阅、更正、删除个人信息及撤回授权同意的权利。

六、 免责声明

内容准确性:知识库内容仅供参考,不构成专业建议。我们不对其完整性、准确性、时效性作任何明示或暗示的保证,您应自行判断并承担使用风险。

不可抗力:因自然灾害、政策法规变化、网络故障、第三方平台接口异常(如微信接口维护、运营商短信通道故障)等不可抗力导致的服务中断或延迟,我们不承担违约责任。

第三方链接:本网站可能包含指向第三方网站的链接,该等网站的内容和服务不受我们控制,请您自行甄别风险。

七、 违约责任

如您违反本协议约定,我们有权视情节采取警告、限制功能、暂停服务、注销账号等措施,并保留要求赔偿损失的权利。

如因您的违约行为导致我们遭受行政处罚、第三方索赔或商誉损失,您应承担全部赔偿责任(包括但不限于罚款、赔偿金、律师费、公证费等)。

八、 法律适用与争议解决

本协议的订立、执行和解释均适用中华人民共和国大陆地区法律。

因本协议产生的或与本协议有关的任何争议,双方应友好协商解决;协商不成的,任何一方均可向【公司所在地】有管辖权的人民法院提起诉讼。

九、 其他

本协议构成双方就本服务达成的完整协议,取代此前任何口头或书面约定。

本协议任一条款被认定为无效或不可执行的,不影响其他条款的效力。

我们对本协议享有最终解释权,并在法律允许的范围内保留随时修改的权利。修改后的协议一经公布即生效,继续使用服务即视为同意修订内容。


已查阅