在业务中掌握 AI：使用 RAG 和 CRAG 构建企业级 AI 平台

发布日期：2024-04-06 08:50:46 浏览次数： 3274

作者：二师兄talks

微信搜一搜，关注“二师兄talks”

通过我们的指南了解如何为您的企业释放 AI 的力量。了解 RAG 和 CRAG 集成、矢量嵌入、LLM 和提示工程。非常适合负责任地拥抱 AI 的企业。

为企业构建AI就绪平台

当企业引入生成式人工智能时，他们会遇到许多需要战略管理的业务风险。这些风险通常是相互关联的，从导致合规性问题的潜在偏见到缺乏领域知识。主要问题包括声誉损害、遵守法律和监管标准（尤其是关于客户互动）、知识产权侵权、道德问题和隐私问题，尤其是在处理个人或可识别数据时。

为了应对这些挑战，建议采用检索-增强生成（RAG）等混合策略。RAG 提高了 AI 生成内容的准确性和相关性，为企业 AI 计划提供了更安全、更可靠的框架。该策略不仅解决了缺乏知识和错误信息的直接问题，而且还遵守法律和道德规范，防止声誉受损和违规行为。

了解检索增强生成（RAG）

检索增强生成（RAG）是一种先进的方法，通过整合来自企业知识库的信息来提高 AI 内容创建的准确性和可靠性。将 RAG 视为一位主厨，他依靠与生俱来的天赋、全面的培训和创造性的天赋，所有这些都得到了对烹饪基础知识的透彻理解的支持。当需要使用不寻常的香料或满足对新奇美食的要求时，厨师会查阅可靠的烹饪参考资料，以确保该成分得到最佳利用。

就像主厨可以制作各种菜肴一样，GPT 和 LLaMA-2 等 AI 系统可以创建各种主题的内容。然而，当他们需要提供具体和准确的细节时，他们会使用一种特殊的工具来精确和深入，尤其是在新奇美食等复杂主题上或浏览大量企业数据时。

如果 RAG 的检索阶段不足怎么办？

Corrective-RAG（CRAG）介入以增强 RAG 设置的鲁棒性。CRAG 使用 T5 来评估检索到的文档的相关性。如果来自企业源的文档被视为无关紧要，则可能会默认使用 Web 搜索来填补空白。

企业级生成式 AI 解决方案的架构注意事项

架构从根本上围绕三个核心支柱构建：数据、摄取、查询和智能检索、生成提示工程和 LLM。

使用 CRAG 的企业级生成式 AI 解决方案

Data 摄取：第一步是将公司文档的内容转换为易于查询的格式。此转换是使用嵌入模型完成的，遵循以下操作序列

数据分割：来自企业知识源（如 Confluence、Jira 和 PDF）的各种文档被摄取到系统中。此步骤涉及将文档分解为可管理的部分，通常称为“块”。
嵌入模型：然后，这些文档块通过嵌入模型传递。嵌入模型是一种神经网络，它将文本转换为表示文本语义的数字形式（向量），使其易于机器理解。
索引块：然后对嵌入模型的结果向量进行索引。索引是以便于高效检索的方式组织数据的过程。
矢量数据库：将所有向量嵌入保存在向量数据库中。并将每个嵌入表示的文本保存在不同的文件中，确保包含对相应嵌入的引用。

Query 和 Intelligent Retrieval：推理服务器收到用户的问题后，会通过嵌入过程将其转换为向量，该过程使用相同的模型在知识库中嵌入文档。然后，向量数据库进行搜索，以识别与用户意图密切相关的向量，并将其提供给大型语言模型（LLM）以丰富上下文。

查询：从应用程序和 API 层进行查询。此查询是用户或其他应用程序在搜索信息时输入的内容。
嵌入查询检索：利用生成的 Vector.Embedding 在向量数据库的索引中开始搜索。选择要从向量数据库中检索的向量数量;这个数字将与您计划编译和用于解决问题的上下文量成正比。
向量（相似向量）：该过程识别相似向量，这些向量表示与查询上下文相关的文档块
检索相关向量：从向量数据库中检索相关向量。例如，在 Chef 的上下文中，它可以等同于两个相关的向量：食谱和准备步骤。相应的段将与提示一起收集和提供。
检索相关块：系统获取与被识别为与查询相关的向量匹配的文档部分。一旦评估了信息的相关性，系统就会确定后续步骤。如果信息完全一致，它会根据重要性进行排列。如果信息不正确，系统会将其丢弃并在线查找网络上的更好信息。

Generate Prompt Engineering 和 LLM：提示工程对于指导大型语言模型给出正确答案至关重要。它涉及创建清晰而精确的问题，考虑任何数据差距。这个过程正在进行中，需要定期调整以获得更好的响应。确保这些问题是合乎道德的，没有偏见，并避免敏感话题也很重要。

10. 提示工程：然后将检索到的块与原始查询一起使用以创建提示。此提示旨在有效地将查询的上下文传达给语言模型。

11. LLM（大型语言模型）：工程提示由大型语言模型处理。这些模型可以根据它们收到的输入生成类似人类的文本。

12. 答案：最后，语言模型使用提示和检索到的块提供的上下文来生成查询的答案。然后，此答案通过应用程序和 API层发送回给用户。

使用 LangGraph 实现所讨论的架构

本节说明如何使用 LangGraph 应用 Corrective RAG （CRAG）论文中的概念。有关详细步骤，请参阅提供的说明书链接：https://github.com/langchain-ai/langgraph/blob/main/examples/rag/langgraph_crag.ipynb

结论

这篇博客探讨了将人工智能集成到软件开发中的复杂过程，重点介绍了建立受 CRAG 启发的企业生成式人工智能平台的变革潜力。通过解决提示工程、数据管理和创新的检索-增强生成（RAG）方法的复杂性，我们概述了将 AI 技术纳入业务运营核心的方法。未来的讨论将进一步深入研究用于智能开发的生成式 AI 框架，研究最大限度地利用 AI 的具体工具、技术和策略，确保更智能、更高效和高效的开发环境。

如果您有兴趣为社区做出贡献或希望了解有关生成式 AI SDLC 框架的更多信息，请联系您。