向量数据库那么多，我该如何选择？

发布日期：2024-05-28 19:18:02 浏览次数： 4781

作者：知识派

微信搜一搜，关注“知识派”

应该使用哪个向量数据库？选择最适合您需求的一款

介绍

向量数据库已成为存储和索引非结构化和结构化数据表示的首选位置。这些表示称为向量嵌入，是由嵌入模型生成的。向量存储在利用深度学习模型（尤其是大型语言模型）的应用程序开发中发挥着至关重要的作用。

什么是向量数据库？

在现实世界中，并非所有数据都可以整齐地放入行和列中。在处理图像、视频和自然语言等复杂的非结构化数据时尤其如此。这就是向量数据库的用武之地。

向量数据库是一种将数据存储为高维向量的数据库，这些向量本质上是表示对象的特征或特性的数字列表。每个向量对应一个唯一的实体，例如一段文本、图像或视频。

但为什么要使用向量呢？神奇之处在于它们捕捉语义和相似性的能力。通过将数据表示为向量，我们可以在数学上比较它们并确定它们的相似或不同程度。这使我们能够执行复杂的查询，例如“找到与此相似的图像”或“检索与此文本语义相关的文档”。

为什么需要向量数据库？

近年来，向量数据库变得越来越流行，特别是在机器学习（ML）和人工智能（AI）领域。人工智能和机器学习模型的复杂性需要有效的方法来存储、搜索和检索它们处理的大量非结构化数据。

对于为结构化数据构建的传统数据库来说，向量数据的复杂性和大小通常可能太大。相反，向量数据库就是专门为此而设计的。他们提供专门的搜索和索引算法，即使在拥有数十亿条目的数据库中，也可以快速找到可比较的向量。

向量数据库的不同用例

人工智能和机器学习的应用因寻找可比向量的能力而得到极大扩展。典型用例包括以下内容：

• RAG 系统：向量数据库可以与大型语言模型 (LLM) 结合起来，构建以知识为基础的语言 AI 应用程序。
• 推荐系统：高度个性化的推荐引擎可以由向量数据库提供支持，向量数据库将用户偏好和项目属性表示为向量。
• 向量数据库通过搜索视觉相关的图像或视频，彻底改变了基于内容的检索。
• 自然语言处理：向量数据库通过将文本转换为向量来提供语义搜索、主题建模和文档分组。
• 欺诈检测：为了帮助识别金融交易中的趋势和异常情况，可以使用向量数据库。

载体数据库比较

有许多向量数据库，例如 Qdrant、Pinecone、Milvus、Chroma、Weaviate 等。每个数据库都有自己的优势、权衡和理想用例。在这里，我们将深入研究流行的向量数据库之间的全面比较，包括 Pinecone、Milvus、Chroma、Weaviate、Faiss、Elasticsearch 和 Qdrant。

部署选项

松果在这方面是个奇怪的人。由于出于性能和可扩展性原因，Pinecone 是一项完全托管的服务，因此您无法在本地运行实例。Milvus、Chroma、Weaviate、Faiss、Elasticsearch 和 Qdrant 都可以在本地运行；大多数都提供 Docker 镜像来执行此操作。

可扩展性

Qdrant 提供静态分片；如果您的数据增长超出了服务器的容量，您将需要向集群添加更多机器并重新分片所有数据。这可能是一个耗时且复杂的过程。此外，不平衡的分片可能会引入瓶颈并降低系统的效率。

Pinecone 通过其无服务层支持计算和存储的分离。对于基于 POD 的集群，Pinecone 采用静态分片，这需要用户在扩展集群时手动重新分片数据。

Weaviate 提供静态分片。如果没有任何分布式数据替换，Chroma 就无法扩展到单个节点之外

性能基准测试

• 无论我们选择的精度阈值和指标如何，Qdrant 在几乎所有场景中都能实现最高的 RPS 和最低的延迟。它还显示其中一个数据集的 RPS 提高了 4 倍。
• 对于许多用例来说，Elasticsearch 已经变得相当快，但在索引时间方面却非常慢。当存储 10M+ 96 维向量时，速度可能会慢 10 倍！（32 分钟 vs 5.5 小时）
• Milvus 的索引时间是最快的，并且保持了良好的精度。但是，当您具有更高维度的嵌入或更多数量的向量时，在 RPS 或延迟方面，它与其他方法并不相同。
• Redis 能够实现良好的 RPS，但主要是精度较低。它还通过单线程实现了低延迟；然而，随着并行请求的增加，其延迟会迅速增加。这种速度增益部分来自其自定义协议。
• 随着时间的推移，Weaviate 的改进最少。由于其他引擎的相对改进，它已成为 RPS 和延迟方面最慢的引擎之一。

数据管理

向量相似度搜索

向量数据库如此有用的原因之一是它们可以告诉我们事物之间的关系以及它们的相似或不同程度。有多种距离度量可以让向量数据库做到这一点，并且不同的向量数据库将实现不同的距离度量。

集成和API

虽然 REST API 更常见，但 GRPC API 面向延迟关键场景或需要快速移动大量数据时的性能和吞吐量。根据您的要求和网络，GRPC 可能比 REST 快几倍。

社区与生态系统

开源意味着我们可以浏览核心数据库的源代码，并且向量数据库具有灵活的许可模式。

价格

元数据过滤

元数据是一个非常强大的概念，与核心向量数据库功能相辅相成；它是模糊的人类语言和结构化数据之间的联系。这是该架构的基础，在该架构中，人类用户询问产品，人工智能购物助理会立即回复他们所描述的商品。

向量数据库功能

• Qdrant：Qdrant 使用三种类型的索引来支持其数据库。这三个索引是Payload索引，类似于传统的面向文档的数据库中的索引；字符串有效负载的全文索引；和向量索引。他们的混合搜索方法是向量搜索与属性过滤的组合。
• Pinecone： RBAC 对于大型组织来说还不够。存储优化 (S1) 存在一些性能挑战，只能获得 10-50 QPS。命名空间的数量是有限的，用户在使用元数据过滤作为解决此限制的方法时应小心，因为它会对性能产生很大影响。此外，这种方法无法实现数据隔离。
• Weaviate： Weaviate 使用两种类型的索引来支持其数据库。倒排索引将数据对象属性映射到其在数据库中的位置，向量索引支持高性能查询。此外，其混合搜索方法使用密集向量来理解查询的上下文，并将其与稀疏向量相结合以进行关键字匹配。
• Chroma：Chroma 使用 HNSW 算法支持 kNN 搜索。
• Milvus： Milvus 支持多个内存索引和表级分区，从而满足实时信息检索系统所需的高性能。RBAC 支持是企业级应用程序的要求。关于分区，通过将搜索限制为数据库的一个或多个子集，与静态分片相比，分区可以提供一种更有效的数据过滤方式，静态分片可能会引入瓶颈，并且当数据增长超出服务器容量时需要重新分片。分区是一种管理数据的好方法，它可以根据类别或时间范围将数据分组为子集。这可以帮助您轻松过滤和搜索大量数据，而不必每次都搜索整个数据库。没有一种索引类型可以适合所有用例，因为每个用例都会有不同的权衡。通过支持更多索引类型，您可以更灵活地在准确性、性能和成本之间找到平衡。
• Faiss： FAISS是一种支持kNN搜索的算法

整体对比总结

为什么我选择Qdrant

Qdrant 提供了一种用 Rust 构建的生产就绪服务，这种语言以其安全性而闻名。Qdrant 配备了一个用户友好的 API，旨在存储、搜索和管理高维点（点只不过是向量嵌入），并通过称为有效负载的元数据进行丰富。这些有效负载成为有价值的信息，提高搜索精度并为用户提供有洞察力的数据。如果您熟悉 Chroma 等其他向量数据库，则 Payload 类似于元数据；它包含有关向量的信息。

使用 Rust 编写使得 Qdrant 成为即使在重负载下也能快速可靠的向量存储。Qdrant 与其他数据库的区别在于它提供的客户端 API 数量。目前 Qdrant 支持 Python、TypeSciprt/JavaScript、Rust 和 Go。它使用 HSNW（分层可导航小世界图）进行向量索引，并附带许多距离度量，如余弦、点和欧几里德。它附带了一个开箱即用的推荐 API。

考虑 Qdrant 时的一些关键要点包括：

• Qdrant 采用 Rust 制作，即使在重负载下也能确保速度和可靠性，使其成为高性能向量存储的最佳选择。
• Qdrant 的与众不同之处在于它对客户端 API 的支持，满足 Python、TypeScript/JavaScript、Rust 和 Go 开发人员的需求。
• Qdrant 利用 HSNW 算法并提供不同的距离度量，包括 Dot、Cosine 和 Euclidean，使开发人员能够选择与其特定用例相符的度量。
• Qdrant 通过可扩展的云服务无缝过渡到云，为探索提供免费套餐选项。无论数据量如何，其云原生架构都能确保最佳性能。