Ivy.ai × Zilliz Cloud：构建 GenAI 驱动的聊天应用

发布日期：2024-07-31 20:17:14 浏览次数： 2659

作者：Zilliz

微信搜一搜，关注“Zilliz”

“可靠性、可扩展性和性能都很棒。而且我们可以外包所有这些管理工作，不必担心服务器故障，这有助于我们将资源投入到产品开发和创新上，这真正使得我们的业务与众不同。”

——Michal Oglodek，Ivy.ai CTO

01.

关于Ivy.ai

Ivy.ai，一个由专业团队精心打造的创新成果，致力于提升高等教育、医疗保健和公共部门的沟通效率。他们的旗舰产品 IvyQuantum™ 自2023年问世以来，以其先进的 AI 聊天机器人，超越了传统的问答模式。IvyQuantum™ 提供的功能包括：

多渠道沟通能力，涵盖网页、短信、语音、WhatsApp 和社交媒体
在线客服支持
由AI生成的电子邮件回复
无缝集成访问特定账户信息和收集潜在销售线索

除了丰富的功能，Ivy.ai 的独到之处在于其对数据安全和隐私的坚定承诺，这对于那些需要处理敏感信息的机构来说至关重要。通过使用特定的数据源，Ivy.ai 确保每一次服务都能满足客户的个性化需求。

02.

挑战：扩展GenAI在教育领域的应用

Ivy.ai 团队在从基于检索的 Ivy 1.0 过渡到更高级的、由 GenAI 驱动的 IvyQuantum™ 时遇到了多个挑战，需要一个能够处理数十亿向量，并提供高速查询以支持实时AI生成响应，并随着业务数据量和需求增长仍能保持可靠性能的解决方案。同时，这个解决方案还要允许团队将精力集中在业务创新而非基础设施管理上。

在寻找合适的技术方案时，Ivy.ai 坚定地选择了 Milvus。Ivy.ai 高级数据科学家 Saumil Patel 表示：“在对市场上不同的向量数据库进行性能测试后，Milvus 的表现在所有选项中都是出类拔萃的。” Milvus 在 QPS、插入和召回方面的表现给团队留下了深刻印象，这些是 GenAI 驱动聊天平台的关键性能指标——Ivy.ai需要的解决方案是，当用户提问时，系统能够在亚秒级时间内从向量数据库中找到最相关结果。

然而，在 Google Cloud Platform 上使用 Kubernetes 搭建自托管 Milvus 服务时，团队再次遇到了挑战。Ivy.ai CTO Michal Oglodek 回忆说：“随着数据负载和需求的增加，我们面临了系统在生产环境中崩溃的重大问题。”为了寻找一个更可持续的解决方案，Ivy.ai 决定避免投入大量时间和资源自行管理系统，转而选择了一个更可靠和可扩展的方法。

03.

引入Zilliz Cloud：大规模全托管向量数据库解决方案

经过深入评估，Ivy.ai 选择了 Milvus 的全托管云服务 Zilliz Cloud。Zilliz Cloud 提供了一个高性能、可扩展的解决方案，能够处理百亿的向量数据，这对于 IvyQuantum™的检索增强生成（RAG）应用至关重要。选择 Zilliz Cloud 的全托管服务，Ivy.ai 得以摆脱复杂的数据库管理工作，专注于核心业务。

注：Zilliz Cloud 助力 Ivy.ai Chatbot

架构示意图

Zilliz Cloud 解决方案的可扩展性尤其引人注目。Oglodek 解释说：“我们希望（业务）可以轻松扩展，而 Zilliz Cloud的软件和服务使我们能够不断提升业务能力。”这种灵活性对于 Ivy.ai 不断增长的业务需求至关重要。此外，Zilliz Cloud 提供的托管服务解决了 Ivy.ai 在使用自建解决方案时遇到的稳定性问题，确保了生产可靠性。

Patel 特别赞赏 Zilliz Cloud 的监控和分析能力，他说道：“我们可以清楚地看到每秒的查询量和当前数据库总容量。”这种对数据库性能的深入了解对于优化运营和规划未来增长至关重要。

04.

Zilliz Cloud——业务创新的基石

采用 Zilliz Cloud 作为向量数据库解决方案，为Ivy.ai 带来了显著的业务价值，包括：

提升的可靠性：采用 Zilliz Cloud 以来，Ivy.ai 再也没有经历过停机或重大问题，确保了为其客户提供一致性的服务；
增强的可扩展性：资源的轻松扩展能力促进了 Ivy.ai 的发展，并支持了其通过免费试用策略来吸引客户；
性能大幅提升：借助 Zilliz Cloud 的高性能，即使数据量自使用该服务以来已经激增超过两倍，Ivy.ai 也不再为保持快速响应时间而烦恼。

Oglodek 简要地总结了使用体验：“可靠性、可扩展性和性能都很棒。而且我们可以外包所有这些管理工作，不必担心服务器故障，这有助于我们将资源投入到产品开发和创新上，这真正使得我们的业务与众不同。”

05.

展望未来

Ivy.ai 在 Zilliz Cloud 提供的稳定、可扩展和高性能的基础上，为 GenAI 驱动的未来增长做好了准备。市场营销高级副总裁 Sharon Harrison 强调：“创新是我们公司的核心。”随着 GenAI 继续改变教育领域，由 Zilliz Cloud 向量数据库助力的 Ivy.ai 正站在变革的前沿，时刻准备着迎接教育机构和学生不断演变的需求。