向量数据库代表了一种现代数据存储方法，其中信息被保存为高维向量，也就是通过Embedding Model进行数据特征或属性捕获后的数学表达方式。这些向量可以跨越数十到数千个维度，具体取决于每个应用对于数据的粒度要求。
向量数据库的主要好处在于它能够通过比较向量的矢量距离来执行快速和精确的相似性搜索。与依赖精确匹配或预定义标准进行查询的传统数据库不同，向量数据库擅长查找上下文或语义相似的数据。
举个例子，“我不是很饿，但是还能够吃点”和“我才吃得七分饱”这两句话若是按正常的数据库匹配，数据库根本不认为它们表达意思相近。但是通过Embedding Model之后用魔法棒将它们变成两串[1.4, 6.7, ……, 9.1]和[9.8, 2.5, ……, 1.9]的向量，若是EM模型很棒的话，那么在这个空间中，这两个向量应该是很接近的。
上图为写入流程和查询流程，向量在这个过程就是桥梁。回到现实业务场景中，事先可以将很多私域的资料录入向量数据库，这些内容会被提炼索引（向量）一起存储；当用户发出一个问题的查询请求时候，EM对查询内容进行Embedding，然后利用这个查询向量在向量数据库中检索相似内容，返回和查询相关的内容片段；最后可以采用Prompt技术将查询和这些检索出来的内容片段拼接在一起，输入大模型以便获取更加精准的回答。这就是RAG！
到此大家应该可以明白，向量数据库有个很重要组件就是EM模型，正因为EM才使得向量数据库对于图像检索、自然语言理解和推荐系统等任务特别有利，而这是传统数据库无法企及的。
高质量的数据和嵌入对于向量数据库的准确性和有效性至关重要。嵌入的质量（即数据的向量表示）直接影响相似性搜索的性能。质量差的嵌入可能导致不准确或不相关的结果，从而降低效用。确保高数据质量涉及预处理步骤，例如归一化、清理和转换，以消除噪音和不一致。在多样化和有代表性的数据集上训练的模型往往会产生更可靠的嵌入。
向量检索方法一般采用近似最近邻 （ANN）搜索。Embedding
和执行ANN搜索是计算密集型过程。Embedding涉及通过复杂的机器学习模型运行原始数据，这需要大量的处理能力、内存和存储。对于具有许多参数的大型数据集或模型尤其如此。
ANN 搜索虽然针对速度进行了优化，但也需要大量的计算资源来有效地遍历高维向量空间并保持性能。这些操作受益于并行处理能力和高性能计算环境，例如GPU和分布式计算集群。
使用技巧1：选择合适的机器学习模型来生成向量嵌入，以下是一些准则：
规范化：将数据标准化为通用比例，这对于数值数据尤其重要，以确保没有特定特征不成比例地影响嵌入。
清理：去除噪音，例如不相关或不正确的数据、重复项和异常值，以确保数据的质量和一致性。
标记化：对于文本数据，将句子分解为可以通过嵌入模型进行处理的标记（单词或子单词）。
小写和删除标点符号：通过转换为小写和删除标点符号来标准化文本数据，以减少数据中的可变性。
处理缺失值：插补或删除缺失值，以防止不完整的数据扭曲嵌入。
图像和音频处理：对于图像，这可能包括调整大小、规范化和增强。对于音频，可以采用降噪、归一化和分割。
特征提取：从原始数据中识别和提取相关特征，可以提高嵌入的质量，特别是对于复杂的数据类型。<很多的RAG变种都是在这个基础上进行迭代创新。>
粤ICP备14082021号
免费POC，
零成本试错
