通用人工智能（GenAI）应用的开发领域正以惊人的速度不断演进。我们正在经历从简单的提示工程（Prompt Engineering）到构建复杂人工智能系统开发与构建的显著转变。这些系统涵盖了包括检索、预处理、后处理、防护措施、代码解释、大型语言模型（LLM）路由、模型集成、混合编排（静态和动态）中的内存管理等复杂流程，如检索增强生成（RAG）和人工智能代理（AI Agent）等技术日益普及。
这种复杂性和先进性虽然赋予了 AI 应用开发者强大的能力，但也带来了挑战。在开发阶段，开发者需要理解复杂程序执行过程中的每个步骤，以获得观测、调试、评估和改进他们的 GenAI 应用的洞察力。其后，随着越来越多的 GenAI 应用从概念验证阶段过渡到生产环境，部署后的可观测性变得至关重要，让开发者监控 GenAI 应用上线后的行为，性能，用户反馈和响应，以洞察和调试边缘案例，加速应用的迭代优化。
正如本篇博客所强调的，GenAI 应用开发的生命周期并没有改变，但由于涉及的系统复杂性，挑战却在日益增加。下图作为一个视觉指南，帮助我们在流程中发现复杂性，强调出成功开发 GenAI 应用所需的系统方法。
使用 prompt flow SDK 你可以轻松追踪和监控 GenAI 应用的执行过程，从输入到输出，再到中间环节的执行信息。在 prompt flow trace 中你可以观测到 GenAI 工作流中每个函数调用的详细日志，包括中间结果，使用的 AI 模型参数配置，token 开销，执行时间等性能指标，这有助于您快速了解 AI 模型的工作方式和它们产生的结果，以及调试和优化 GenAI 应用的生成结果。
Prompt flow SDK 同时支持 Trace 在本地和云端，你可以通过 `pf` 本地 SDK 在本地开发过程中查看 trace，同时也可以通过 `pfazure` 云端SDK 将 trace 发送到 Azure AI Studio国际版，Azure Machine Learning 或其他 OpenTelemetry 收集器（如 Azure Application Insights）。这种灵活性确保您可以将 Trace 与任何基于 Python 的代码集成，轻松地进行应用测试、调试、评估和部署监控。
在已经 GA 的 Azure AI Studio 国际版上，我们提供更强大的基于云的跟踪，这是一个构建 GenAI 应用程序的一站式平台，为企业级开发团队提供本地到云端的团队协作、持久存储，云服务资源调用，基于 UI 界面的交互式管理和可视化的开发体验。
● 1. 集中化测试历史管理: 你可享有云端的持久化存储资源，云平台的管理和查看能力，以确保测试数据，测试记录持久性和易于访问。
● 2. 可视化测试结果分析：云端 UI 界面便于查看和可视化测试结果，使你能够全面比较不同测试测试用例的输出。
● 3. 历史数据重用：云端存储的实验与追踪便于你重用以前的数据资产，如 Human Feedback 和 Data Curation，使数据真正回流赋能于应用的迭代与优化。
● 4. 优化资源管理：利用过去的性能和使用模式的详细见解和分析，改善未来的资源利用。
当你的应用运行遇到报错时，Trace 可以帮助你更深入地观测到引发错误的函数中，评估异常情况，并使用提供的异常消息和 trace 栈进行故障排除。参考此例子 Tracing with LLM applicable 开始你的 LLM 应用的 Trace！
▲ Debugging in trace exception
对于基于 RAG 的 LLM 应用（例如基于企业专业知识的问答聊天机器人），通常在调试非预期结果的过程中，想要明确问题出在检索过程中，还是在LLM 的提示生成中，是一个艰巨的任务。然而，借助新引入的 Trace 功能，检索和 LLM 生成将被展示为独立的执行步骤，便于你观测其输入输出，分析prompt 或检索配置对结果的影响。例如，您可以观察基于测试问题检索的上下文，分析参数配置，尝试微调参数以实现最佳检索。
▲ Analyzing the retrieval of RAG
Multi-agents 是 LLM 应用的常见的场景，它是更先进的应用框架，例如构造一个由 LLMs、tool 和 human 支持的可对话代理，实现通过多角色之间的自动化，交互式聊天，来共同执行一个任务。在这种对角色自动对话场景下，Trace 视图将帮助你监控多角色对话的流程，观测每个角色以及 LLM 之间自动调用的交互过程。请参考这个例子 Tracing with AutoGen 来开始你的 multi-agent 场景的 trace！
▲ Observing the multi-agents interactions
强化应用评估和调试的万能 flow - Flex Flow
Evaluation 是 prompt flow 的核心价值，先前我们已支持用户 evaluate 其构建出来的 prompt flow。现如今，我们的 prompt flow SDK 引入了 Flex flow 这一个新功能，为 prompt flow 增强了对任意 GenAI 应用来做 evaluation 的适应性和可扩展性。它使你能够将您自己的应用代码快速集成到 prompt flow 中，进行全面的 Batch test 和 evaluation。
随着 Flex Flow 和 Trace 功能的引入，你现在将你的应用 Flex Flow，基于这个万能的 flex flow 在本地执行 evaluation run，在结果中观测每一行的trace。我们支持三种运行与观测模式：
1. 本地 run，结果存储本地，本地查看结果
2. 本地 run，结果存储本地+云端，云端查看结果
3. 云端 run，结果存储云端，云端查看结果
基于模式2，用户可以将本地执行的结果直接发送到云端 AI Studio 进行持久化存储，以保证你的测试数据的云端共享和长期存储。此外，基于模式3，用户还可以选择在云计算中运行 evaluation，这将在云端记录运行及其结果，便于用户使用云端资源，包括算力和数据。
启用 Trace 功能后，调试 evaluation 实验结果中的error case 变得更为容易，用户可以深入其 trace 视图进行详细观测和检查。
新的 Trace 能力将默认应用到所有 prompt flow 的 flow 开发过程，从 authoring，到 batch run 和 evaluation，再到 deploy，为 flow 的开发者提供了更优的可观测性和可调试性。此外，flow authoring 阶段所有历史测试记录都会持久存储在一个列表中，有助于你日后追踪，调试和数据复用。
GenAI 应用在经历严格测试后，待其质量和性能得到保证后，用户可以顺利地将其部署到 Azure AI Studio 国际版中作为一个在线 endpoint。Azure AI Studio 国际版为用户提供了一个安全可扩展的环境来运行 GenAI 应用，并提供了各种功能来增强您的部署体验，包括与 Azure Application Insight 集成，进行全面的部署后监控。
在部署后的阶段，我们支持将你得应用请求数据，日志信息汇聚在 application insight 中进行监控，这里同样可以包括 trace 数据。开发者通常在后台日志中，希望深入了解应用在线上的性能情况，以进一步优化，而此时，每个请求的 trace 数据、聚合metrics 和用户反馈数据变得至关重要。
Prompt flow SDK 提供了一个新的 /feedback API，帮助客户从在线服务阶段收集反馈。启用 Application Insight 后，反馈数据将保存到客户配置的追踪导出目标中。
除了 Trace，我们同样对云端开发做了加速优化。我们在 Azure AI Studio 国际版发布了 prompt flow 的一些其他功能，以加速 GenAI 应用的开发：
新的compute session允许您在几秒钟内设置云计算资源，快速进行flow的创作和测试。
为提高批量运行的可扩展性，我们实施了两项改进。首先，我们取消了1000条数据记录的限制，允许 batch runs 在10小时内处理更大的数据集。其次，我们引入了从上次运行中断的地方恢复的能力（resume），可以使用 "pf run create –resume-from" 命令完成。
为了在线服务的加速，prompt flow 目前也支持了 fastapi，这是一个现代且快速的 Web 框架，以高性能和可靠性提供您的 GenAI 应用。
粤ICP备14082021号
免费POC，
零成本试错
